深度学习
文章平均质量分 79
luxialan
这个作者很懒,什么都没留下…
展开
-
深度学习基础(一)神经网络
由生物学基础我们知道,神经网络是有无数个神经元和连接这些神经元的突触构成的,某个神经元接受一系列的电信号刺激,当这个刺激达到一定的阀值后,这个神经元就被激活,通过突触将某些信息传递给下一个神经元。每个神经元可以看成是一个激活函数(activation function),输入值为强度大小不同的电刺激,输出值为传递给下一个神经元的刺激。我们先来看神经网络最简单的形式,神经元。输入:原创 2015-01-19 21:29:28 · 677 阅读 · 0 评论 -
深度学习基础(二)Backpropagation Algorithm
我们知道神经网络有forward propagation,很自然会想那有没有Backpropagation,结果还真有。forward progation相当于神经网络额一次初始化,但是这个神经网络还缺少训练,而Backpropagation Algorithm就是用来训练神经网络的。原创 2015-01-19 21:55:48 · 1534 阅读 · 0 评论 -
深度学习基础(四)PCA和Whitening
PCA(principal component analysis )即主成分分析,是一种常用的降维方法。假设我们用降维操作处理一个二维的数据集(二维压缩成一维): 在这个数据集上,我们可以计算出两个方向,我们称为主方向u1和次方向u2,其中u1的值是数据集协方差矩阵的最大特征值对应的特征向量,u2是次大特征值对应的特征向量。数据集的协方差矩阵(这个符号很像求和但不是):原创 2015-01-25 20:07:54 · 2788 阅读 · 0 评论 -
深度学习基础(三)(稀疏)自编码器
我们知道在神经网络上通过前向传导和后向传导算法,可以再给定训练集的基础上训练参数,这是神经网络有监督学习的一种应用。但是有时候数据集并不是都有标签的,我们希望给一堆数据之后,通过神经网络,在没有既定目标函数的情况下,在一定约束下神经网络能够自行独立地学习到一些参数。这种没有特定学习目标的学习方法,就叫做无监督的学习方法。现在来看一种最简单的无监督神经网络算法,稀疏自编码器。原创 2015-01-20 15:19:07 · 1038 阅读 · 0 评论 -
深度学习基础(五)Softmax Regression
function [softmaxModel] = softmaxTrain(inputSize, numClasses, lambda, inputData, labels, options)%softmaxTrain Train a softmax model with the given parameters on the given% data. Returns softmaxOptT原创 2015-02-28 10:28:07 · 851 阅读 · 0 评论 -
深度学习基础(七)Self-Taught Learning to Deep Networks
有了自学算法去提取特征,我们可以进一步扩展模型这个模型是在特征模型的基础上多了一步分类器,这个分类器的引入使得我们可以进一步调整参数。微调(fine-tune)指的的是通过输入有标记的再通过牛顿下降法来调整参数从而减小训练误差什么时候可以使用微调呢?当然是有大量的有标记样本啦。上面这个模型试简单的三层神经网络因为每一个隐层代表了对前一层的一次非线性变换,简单的三层模原创 2015-03-20 21:27:26 · 762 阅读 · 0 评论 -
深度学习基础(六)Self-Taught Learning
要想提高学习类的算法,最简单的方法就是使用更多的数据,但是有标签的数据往往是很难获取的,因此对于无标签的数据的学习,我们有自学习算法和无监督特学习算法。有两类常用的特征学习算法,自学习算法的前提假设是无标签的数据和有标签的数据不一定满足一样的分布,而无监督学习算法的前提假设是两者的分布是一样的。我们先来介绍一下特征学习:我们之前讲过自编码器,输入时有标签的数据集 对于原创 2015-03-20 14:55:58 · 1225 阅读 · 0 评论