2015年07月_July_Zh1

10月 09月 08月 07月 06月 05月 04月

原创 CNN卷积神经网络学习笔记4：代码学习

代码来自github上的一个DeepLearning Toolbox，地址：https://github.com/rasmusbergpalm/DeepLearnToolbox主要参考这篇博客中的代码注释： http://blog.csdn.net/zouxy09/article/details/9993743CNN原理和公式推导见前文：背景网络结构公式推导单步调试后自己添加了一部分注

2015-07-25 23:03:42 3712

原创 PCA(principal component analysis)主成分分析法

《Aggregating local descriptors into a compact image representation》论文笔记在论文中，提取到VLAD特征后，要对特征向量进行PCA降维，就是用一个大小为D’ * D的矩阵M，对VLAD特征向量x做变换，降维后的vector是x’ = Mx，x’的大小是D’维。矩阵M是由原样本的协方差矩阵的D’个特征向量构成。为什么M要是特征

2015-07-25 22:10:40 2760

原创 ADC方法(asymmetric distance computation)

《Aggregating local descriptors into a compact image representation》论文笔记提取到VLAD特征后，要先用PCA降维，然后再用ADC方法对每一幅图像建立索引，这里先介绍ADC方法。ADC方法是对图片库中，除query vector x之外的所有图的vector Y=y1,y2...ynY={y_1,y_2...y_n}，做kmeans产

2015-07-25 11:09:45 3453 2

原创 VLAD特征(vector of locally aggregated descriptors)

《Aggregating local descriptors into a compact image representation》论文笔记这篇论文中提出了一种新的图片表示方法，也就是VLAD特征，并把它用于大规模图片检索中，得到了很好的实验结果。目前，BOF在图片检索和分类中应用广泛，首先是因为BOF是基于比较powerful的local特征(如SIFT)得来的，所以表达能力很强；其次是

2015-07-25 10:55:40 25817 6

原创 CNN卷积神经网络学习笔记3：权值更新公式推导

在上篇《CNN卷积神经网络学习笔记2：网络结构》中，已经介绍了CNN的网络结构的详细构成，我们已经可以初始化一个自己的CNN网络了，接下来就是要用训练得到一个确定的CNN的模型，也就是确定CNN的参数。 CNN本质上就是人工神经网络的一种，只是在前几层的处理上有所不同，我们可以把卷积核看成是人工神经网络里的权值W，而采样层实质上也是一种卷积运算。所以可以基于人工神经网络的权值更新的方法来

2015-07-06 11:23:09 56706 8

原创 CNN卷积神经网络学习笔记2：网络结构

这篇笔记中，通过一个简单的CNN的例子，梳理一下CNN的网络结构的细节。以下是一个6层的CNN网络，我们输入的是一张大小为28*28的图片。需要注意的有：1，这里输入的是一张图片，如果我们输入了50张图片，那么下图中的每一个方框（代表一种特征图）实际上代表了50张图片。2，在S3和S5的采样层只做了mean pooling，其实一般还会有加偏置和激活的操作，这个CNN网络比较简单，

2015-07-05 19:57:41 5318 2

原创 CNN卷积神经网络学习笔记1：背景介绍

Convolutional Neural Network 卷积神经网络是基于人工神经网络提出的。人工神经网络模拟人的神经系统，由一定数量的神经元构成。在一个监督学习问题中，有一组训练数据(xi,yi)(x_i,y_i)，x是样本，y是label，把它们输入人工神经网络，会得到一个非线性的分类超平面hw,b(x)h_{w,b}(x)，在这篇笔记中先梳理一下传统人工神经网络的基本概念，再基于传统人工神经

2015-07-05 13:34:13 12349

原创 LDA主题模型学习笔记5：C源码理解

1，说明本文对LDA原始论文的作者所提供的C代码中LDA的主要逻辑部分做注释，代码可在这里下载：https://github.com/Blei-Lab/lda-c这份代码实现论文《Latent Dirichlet Allocation》中介绍的LDA模型，用变分EM算法求解参数。为了使代码在vs2013中运行做了一些微小改动，但不影响原代码的逻辑。vs2013工程可在我的资源中

2015-07-02 14:29:07 4551 9

原创 LDA主题模型学习笔记4：求解模型参数(M-step)

这一步，我们根据E-step得到的γ,phi\gamma,phi，最大化L(γ,ϕ;α,β)L(\gamma,\phi;\alpha,\beta)，得到α,β\alpha,\beta.1，拉格朗日乘数法求解β\beta 首先把L(γ,ϕ;α,β)L(\gamma,\phi;\alpha,\beta)简化，只保留与β\beta有关的部分。因为β\beta是每一行存一个主题的词分布，所以每一行的

2015-07-02 11:09:15 3151