2015年12月_AlexInML

原创 Theano权重子集更新

新入门Theano，官方文档最后一节讲到Theano中部分权重（权重子集）更新问题“How to update a subset of weights?”，按照教程自己写了一个实例，但是f = theano.function(…, updates=updates)报错。Bug信息提示，updates = inc_subtensor(subset, g*lr)得到的是一个tensor类型，而updat

2015-12-27 22:20:07 1374

原创 Theano scan函数之生成斐波那契数列的两种方法

一、Theano的局限性Theano代码编写比较灵活，但是也存在一些局限性： 1、while和if循环必须通过theano.scan()操作实现，从而循环的主体会受到一些限制； 2、不支持goto和递归。所以对于某些矩阵操作需要coder选择合适的方法解决。下面通过两种生成斐波那契数列的方法来讲解scan的使用：import theanoimport theano.tensor as T

2015-12-25 15:49:54 1216

原创 Failed to import pydot 和graphviz error: (2, 'RegOpenKeyEx',错误总结

在按照Theano Tutorial编写查看Theano图结构时遇到了点问题。示例代码：import theanoimport theano.tensor as Tfrom theano import functionimport pydot,a = theano.tensor.vector("a") # declare symbolic variableb = a + a **

2015-12-17 20:42:14 8130

原创深入了解梯度下降算法

目标函数：首先明确一下本文的符号使用：向量用粗体表示，标量用普通的字母表示，例如：x\textbf{x}表示一个向量，xx表示一个标量。梯度下降算法在优化理论中有着很重要的地位，凭借实现简单、解决最优化问题效果较好并且有很好的普适性等优点梯度下降算法在机器学习等领域具有广泛的应用。梯度下降算法通常用来解决无约束最小化问题： minx∈Rnf(x)\begin{equation}\min

2015-12-13 17:03:31 4608 2

原创 Theano数据类型--TypeError

A Type in Theano represents a set of constraints on potential data objects. These constraints allow Theano to tailor C code to handle them and to statically optimize the computation graph.

2015-12-09 16:45:15 2183

原创限制玻尔兹曼机（RBMs）理论详解

关于RBMs的文章已经有不少了，但是很多资料我在阅读的时候仍然对细节有一些疑惑。在查阅学习了大牛的视频、论文之后，很多问题豁然开朗，就在这片文章中记录下我对RBMs的粗浅了解吧。首先从玻尔兹曼机和限制玻尔兹曼机的结构和定义开始： Boltmann Machines：玻尔兹曼机（Boltmann Machines）的能量函数（Energy function）是： E(x,h)=−h⊤Wx−c⊤x−

2015-12-07 17:40:44 13714

原创 Nsight VS2012 was not found，no CUDA-capable device is detected，cudaGetDeviceCount returned 30

问题一 VS2012 was not found 为了实践Deep Learning有关的算法，尝试在本子上搭建Theano环境，按照Theano官网一步步进行配置，但还是遇到了不少问题，心累~~(*￣3￣)╭在用VS2012 Express作为编译器安装CUDA5.5时遇到一个问题： Nsight for Visual Studio 2012 not installed

2015-12-03 18:06:22 5090 2

原创哈希快速检索之三种海明空间中的检索方法

哈希检索简介：近年来，哈希检索算法领域有闷声大规模填坑的迹象，2012-2015年间有一大堆论文在国际机器学习顶级会议期刊上发表。详见哈希算法综述：“Hashing for Similarity Search：A Survey”。哈希检索的主要思想是把向量表示的数据投影到海明空间，在海明空间中进行K近邻（k>=>=1）的检索。为了使海明空间中的K近邻与原始空间保持一致，哈希算法需要满足局部保持特性，

2015-12-02 20:16:15 6239

Alex.W.的机器学习之路