深度学习
lwnylslwnyls
软件开发
展开
-
深度学习小白答疑
以下是自己在学习深度学习过程中遇到的基础问题,记录下来,供大家参考。前馈神经网络和BP算法是一个意思吗?前馈网络是一种神经网络结构,比如多层感知器,rbf网络。bp是一种神经网络的学习算法。通常,前馈网络用的都是bp算法。但是,前馈网络不一定用bp算法,也可以用别的比如hebb算法进行训练。bp算法也可以用在其他类型网络的训练。原创 2015-01-12 15:36:36 · 743 阅读 · 0 评论 -
UFLDL教程(一)---稀疏自编码器
神经网络模型简单的神经网络前向传播代价函数对于单个样例 ,其代价函数为:给定一个包含m个样例的数据集,我们可以定义整体代价函数为:以上公式中的第一项 是一个均方差项。第二项是一个规则化项(也叫权重衰减项),其目的是减小权重的幅度,防止过度拟合。反向传播算法反向传播算法,它是计算偏导数的一种有效方法。批量梯原创 2015-08-21 14:15:52 · 1616 阅读 · 0 评论 -
UFLDL教程(二)---主成分分析和白化
主成分分析主成分分析(PCA)是一种能够极大提升无监督特征学习速度的数据降维算法。解决步骤首先计算出矩阵,如下所示:假设 的均值为零,那么 就是x的协方差矩阵。计算出协方差矩阵的特征向量,按列排放,而组成矩阵:此处, 是主特征向量(对应最大的特征值), 是次特征向量。以此类推,另记 为相应的特征值。我们可以把 用 基表达为:原创 2015-08-21 17:29:40 · 727 阅读 · 0 评论 -
UFLDL教程(四)---深度网络
深度神经网络,即含有多个隐藏层的神经网络。栈式自编码算法一种比较好的获取栈式自编码神经网络参数的方法是采用逐层贪婪训练法进行训练。即先利用原始输入来训练网络的第一层,得到其参数 ;然后网络第一层将原始输入转化成为由隐藏单元激活值组成的向量(假设该向量为A),接着把A作为第二层的输入,继续训练得到第二层的参数 ;最后,对后面的各层同样采用的策略,即将前层的输出作为下一层输入的方式依次训练原创 2015-08-21 19:40:14 · 733 阅读 · 0 评论 -
UFLDL教程(三)---Softmax回归
当类别数k=2时,softmax 回归退化为 logistic 回归。这表明 softmax 回归是 logistic 回归的一般形式。在下面的公式中, 1{}是示性函数,其取值规则为:logistic 回归softmax回归在Softmax回归中将 x分类为类别j的概率为:原创 2015-08-21 18:05:12 · 686 阅读 · 0 评论