机器学习
文章平均质量分 82
dyc941126
这个作者很懒,什么都没留下…
展开
-
神经网络学习笔记(四)
一、神经网络中误差函数问题对于一个分类问题,神经网络的输出等价于计算条件概率f(x)c=p(y=c|x)f(x)_c=p(y=c|x)。我们希望在训练集中的样本可以最大化上述概率,即给定训练数据点x(t)x^{(t)},我们希望最大化输出为y(t)y^{(t)}的概率。为了和前面提出的经验风险最小化训练框架相结合,我们把这个最大化问题通过取负对数将其转化为一最小化问题。转化后的负对数似然目标函数定义原创 2015-04-19 11:42:35 · 565 阅读 · 0 评论 -
神经网络学习笔记(二)
上一篇文章讨论了神经元的结构和几种常见的激励函数,本章将进一步讨论神经元的容量问题和多层神经网络的表示问题。一、神经元容量问题单个神经元可以解决二分类问题和线性可分问题,下面就这两个问题展开讨论。1.二分类问题如果输出激励函数采用Sigmoid或Hyperbolic Tangent函数,此时神经元的作用等价于计算条件概率p(y=1|x)p(y=1|x),当上述条件概率大于0.5时,将样本归为11类,原创 2015-04-13 11:05:38 · 677 阅读 · 0 评论 -
神经网络学习笔记(三)
上一章主要讨论了单个神经元的容量问题,本章将着重讨论多层神经网络的容量和训练问题。一、多层神经网络的容量问题如图是一个具有两个隐藏单元的单隐层神经网络,左网格图是左侧隐层神经元的输出激励,右侧网格图是右侧隐层神经元的输出激励,则最终的输出激励是二者的叠加(至于是求和还是做差,取决于连接权值的选取,在本例中,是做差的过程)如果我们增加隐层神经元个数,我们可以得到更为复杂的输出激励:这里,我们总共有四个原创 2015-04-14 11:09:22 · 1507 阅读 · 0 评论 -
神经网络学习笔记(五)
上一章我们讨论了求输出层激励的梯度和输出层预激励的梯度的方法,可以发现,求解过程极其复杂,本章将从链式法则入手,推导出各隐层的参数梯度的一般形式。一、链式求导法则回顾高数的知识,若一个函数可写成若干个中间结果,即p(a)=p(q1(a),...qi(a),...,qn(a))p(a)=p(q_1(a),...q_i(a),...,q_n(a)),则有∂p(a)∂a=∑i∂p(a)∂qi(a)∂qi(原创 2015-04-27 16:55:51 · 783 阅读 · 0 评论 -
神经网络学习笔记(七)
在前面几章中,我们介绍了随机梯度下降的框架和各个参数误差的求法,本章将在此基础之上介绍用于训练神经网络的反向传播算法。一、反向传播算法(Backpropagation Algorithm)回顾随机梯度算法的流程:初始化各个参数θ\theta,θ={w(1),b(1),...,w(L+1),b(L+1)}\theta=\{w^{(1)},b^{(1)},...,w^{(L+1)},b^{(L+1)}原创 2015-04-30 10:49:27 · 445 阅读 · 0 评论