2015年06月_小村长

07月 06月 05月 04月 03月 02月 01月

原创 DeepLearnToolBox中CNN源码解析

DeepLearnToolbox是一个简单理解CNN过程的工具箱，可以在github下载。为了理解卷积神经网络的过程，我特此对CNN部分源码进行了注释。公式的计算可以由上一篇blog推导得出。注意：代码中没有的subsampling进行设置参数，将subsampling层的参数w就设置为了0.25,而偏置参数b设置为0。卷积层计算过程为上一层所有feature map的卷积的

2015-06-20 22:36:34 41853 23

原创 CNN公式推导

CNN公式推导1 前言在看此blog之前，请确保已经看懂我的前两篇blog【深度学习笔记1(卷积神经网络)】和【BP算法与公式推导】。并且已经看过文献[1]的论文【Notes on Convolutional Neural Networks】。因为本文就是讲解文献[1]论文前部分公式的推导过程这里有一个假设，或许公式是错误的，如有好的理解请留言>。2 CNN公式推导

2015-06-20 22:30:01 43498 5

原创 BP算法与公式推导

BP(backpropgationalgorithm )：后向传导算法，顾名思义就是从神经网络的输出(顶层)到输入(底层)进行求解。那么求解什么呢，求解的就是神经网络中的参数的导数，即参数梯度方向，从而就可以使用梯度下降等求解无约束问题(cost function的最值)的方法求得最终的参数。神经网络前向传播的过程比较简单，这里不做讲解(如果不了解，可以参看文献)。1.问题分析1.1 Co

2015-06-20 21:58:01 42939 3

原创深度学习笔记1(卷积神经网络)

深度学习笔记1(卷积神经网络) 在看完了UFLDL教程之后，决定趁热打铁，继续深度学习的学习，主要想讲点卷积神经网络，卷积神经网络是深度学习的模型之一，还有其它如AutoEncoding、Deep Belief Network、Restricted Boltzmann Machine和sparse coding等。在UFLDL教程中提到了针对大型图像的处理

2015-06-20 21:49:26 17238 6

原创 UFLDL教程笔记及练习答案六（稀疏编码与稀疏编码自编码表达）

稀疏编码(SparseCoding)sparse coding也是deep learning中一个重要的分支，同样能够提取出数据集很好的特征(稀疏的)。选择使用具有稀疏性的分量来表示我们的输入数据是有原因的，因为绝大多数的感官数据，比如自然图像，可以被表示成少量基本元素的叠加，在图像中这些基本元素可以是面或者线。稀疏编码算法的目的就是找到一组基向量使得我们能将输入向量x表示成这些基向量

2015-06-14 10:34:35 6219 1

原创 UFLDL教程笔记及练习答案五（自编码线性解码器与处理大型图像**卷积与池化）

自动编码线性解码器自动编码线性解码器主要是考虑到稀疏自动编码器最后一层输出如果用sigmoid函数，由于稀疏自动编码器学习是的输出等于输入，simoid函数的值域在[0,1]之间，这就要求输入也必须在[0,1]之间，这是对输入特征的隐藏限制，为了解除这一限制，我们可以使最后一层用线性函数及a = z习题答案：SparseAutoEncoderLinerCost.mfunctio

2015-06-11 22:00:08 3961 2

原创 UFLDL教程笔记及练习答案四（建立分类用深度学习---栈式自编码神经网络）

此次主要由自我学习过度到深度学习，简单记录如下：(1)深度学习比浅层网络学习对特征具有更优异的表达能力和紧密简洁的表达了比浅层网络大的多的函数集合。(2)将传统的浅层神经网络进行扩展会存在数据获取、局部最值和梯度弥散的缺点。(3)栈式自编码神经网络是由多层稀疏自编码器构成的神经网络(最后一层采用的softmax回归或者logistic回归分类)，采用逐层贪婪的训练方法得到初始的参数，这

2015-06-11 13:33:48 6621 9

原创 UFLDL教程笔记及练习答案三（Softmax回归与自我学习***）

1：softmax回归当p(y|x,theta)满足多项式分布，通过GLM对其进行建模就能得到htheta(x)关于theta的函数，将其称为softmax回归。教程中已经给了cost及gradient的求法。需要注意的是一般用最优化方法求解参数theta的时候，采用的是贝叶斯学派的思想，需要加上参数theta。习题答案：(1) 数据加载——————代码已给(2) %% STEP

2015-06-09 21:45:22 7259 2

原创 UFLDL教程笔记及练习答案二（预处理：主成分分析和白化）

首先将本节主要内容记录下来，然后给出课后习题的答案。笔记：1：首先我想推导用SVD求解PCA的合理性。 PCA原理：假设样本数据X∈Rm×n，其中m是样本数量，n是样本的维数。PCA降维的目的就是为了使将数据样本由原来的n维降低到k维(k＜n)。方法是找数据随之变化的主轴，在Andrew Ng的网易公开课上我们知道主方向就是X的协方差所对应的最大特征值所对应的特征向量的

2015-06-09 10:51:11 6320

原创 UFLDL教程练习答案一（稀疏自编码器和矢量化编程实现）

最近想研究下深度学习，一开始就看UFLDL(unsuprisedfeature learning and deep learning)教程了，特将课后习题答案放在这里，作为一个笔记。笔记：1：自编码算法是一个无监督学习算法，它通过学习hw,b(x) = x,因此最后的outputlayer单元数与inputlayer单元数量相等，而中间的hiddenlayer可以很大，这是加个稀疏惩罚

2015-06-07 21:14:38 6026 5

原创 leetcode ---双指针+滑动窗口

一：Minimum Size Subarray Sum题目：Given an array of n positive integers and a positive integer s, find the minimal length of a subarray of which the sum ≥ s. If there isn't one, return 0 instead.

2015-06-06 16:26:19 4529

原创面试笔试

最近需要找工作了，特将遇到的面试笔试题总结在这里，希望对大家也有帮助1：不能被继承只能被实例化3次分析：不能被继承，只需要将该类的构造函设置为私有的就可以了，那么如何得到它呢，只能通过静态函数得到了(不能创建对象，自然不能用对象调用函数)。。当然如果用指针，必须得有析构，因此析构函数也为私有的。。。(为了防止赋值和复制，复制构造函数及赋值操作符都要为私有)。此外代码中也可以用引用类型。

2015-06-05 22:20:55 1911

原创 leetcode ----Trie/stack专题

一：Implement Trie (Prefix Tree)题目：Implement a trie with insert, search, and startsWith methods.Note:You may assume that all inputs are consist of lowercase letters a-z.分析：此题是典型的trie树，

2015-06-05 21:51:13 1745

原创 Lire源码解析一

Lucene image retrieval是以图搜图的java开源框架，这几天没什么事，就读了点源码，并写了点注释，特在这分享给大家。这里主要给出的是BOVWBuilder.java、Kmeans.java及Cluster.java。就是用词频对特征进行编码，用到是BOF(bag of feature)模型，原理就是提取N张图片的特征(比如sift),放在一起就可以得到矩阵，然后对矩阵进

2015-06-02 19:27:51 2868