神经网络与深度学习_读书笔记_完结
文章平均质量分 94
独孤呆博
机器学习学习者,分享学习心得,欢迎大家分享讨论~
展开
-
五、改进神经网络的学习方法(1):交叉熵代价函数
本文主要介绍了改进神经网络的学习方式中的第一种方法,采用交叉熵函数代替均方误差函数作为代价函数。首先从反向传播的四个基本等式入手,分析出均方误差函数具有在输出错误较大时学习速度反而降低的缺点,从而引出了交叉熵函数。接着介绍了交叉熵函数的定义式,为什么交叉熵函数可以作为代价函数,并在多层网络中证明了它可以避免学习减速,从理论上阐述了为什么会想到使用交叉熵函数。最后通过实验对比了均方误差函数与交叉熵函数的实验效果。原创 2017-08-13 19:58:35 · 2593 阅读 · 0 评论 -
十五、卷积神经网络(2):卷积神经网络的结构
本篇博客主要介绍了卷积神经网络的结构,并解释了使用这种结构的好处及原理,并总体分析了一个好的卷积神经网络都需要哪些部分。原创 2017-10-01 11:12:06 · 3451 阅读 · 0 评论 -
十四、卷积神经网络(1):介绍卷积神经网络
本篇博客介绍在图像分类中常常使用的卷积神经网络。首先由原始的全连接神经网络忽略了图像的空间结构入手,引出了具有空间结构的卷积神经网络;之后介绍卷积神经网络中的三个基本概念,即局部感受野、权值共享和池化;接着从总体给出了卷积神经网络的流程,最后介绍卷积神经网络中的反向传播(这部分待补充……)原创 2017-09-30 12:10:32 · 9178 阅读 · 0 评论 -
十三、神经网络梯度不稳定问题(即梯度消失 & 梯度爆炸问题)
本篇博客主要介绍了关于深度神经网络中的题都不稳定问题。首先从感性进行认识,通过将不同深度的梯度可视化发现越是在前面的梯度变化的越慢;然后从反向传播公式出发,分析出因为在计算梯度中需要对每一层神经网络的梯度进行连乘,所以导致了梯度的不稳定问题。原创 2017-09-29 21:46:05 · 6623 阅读 · 0 评论 -
七、改进神经网络的学习方法(3):过拟合及改进方法(正则化、Dropout)
本文主要对神经网络中的过拟合现象及其改进方法进行介绍。首先介绍什么事过拟合及过拟合带来的问题,其次提出检测和改进过拟合的方法。具体的改进方法包括增加真实或者人工生成的实验数据、减小网络规模和正则化,具体介绍了L_2正则化、L_1正则化、Dropout三种主要的正则化方法。最后从实际经验出发定性的分析了为什么正则化可以减小过拟合的问题,原创 2017-08-16 10:13:33 · 7924 阅读 · 3 评论 -
六、改进神经网络的学习方法(2):Softmax输出层
本文主要介绍改进神经网络的第二种方式,使用softmax输出层和log-likelihood函数,其优点在于,首先可以将输出值以概率分布的形式表达出来,其次避免了学习减速的问题。本文首先给出softmax输出层的定义,并对它的单调性和非局部性进行了证明;其次介绍likelihood函数,并给出了以softmax为输出层时的梯度表达式,从而证明了第二个优点。最后分析了该种方法的使用情况,及如何使用BP更新网络。原创 2017-08-14 21:08:21 · 7571 阅读 · 0 评论 -
十一、改变神经网络的学习方法(5):随机梯度下降的变化形式(Adagrad、RMSProp、Adadelta、Momentum、NAG)
本文主要介绍随机梯度下降以及他的他的各种变化形式。首先回顾随机梯度下降方法,并指出它具有学习率固定,只能利用一阶导数信息的缺点,针对学习率固定的缺点,首先采用Adagrad首先学习率的自我调节,但是这种方法后期学习速度过慢,进而进入RMSProp和Adadelta两种方法。从利用导数的方面,介绍了牛顿法,Momentum和NAG,最后介绍结合RMSProp和Momentum的Adam。并对上述的所有方法进行一个总结。原创 2017-08-19 15:37:14 · 5081 阅读 · 5 评论 -
十二、人工神经元的其他模型(tanh、ReLU)
理论上讲S型神经元构建起来的神经网络可以计算任意函数,但实践中使用其他神经元有时效果会好于S型。因此本文两种其他的人工神经元,即 tanh 神经元和 ReLu神经元。原创 2017-09-01 16:50:57 · 1303 阅读 · 0 评论 -
九、再看手写识别问题(内含代码详解及订正)
本文主要针对之前所提到的四种改进神经网络的学习方法所给出的代码,将与之前代码不同的部分进行了展示和分析。原创 2017-08-17 19:39:59 · 622 阅读 · 0 评论 -
十、如何选择神经网络的超参数
本节主要介绍了如何选择神经网络中的超参数。根据神经网络中超参数的特性对超参数进行分类,并给出了大致三种调整超参数的方法。首先根据机理确定激活函数的种类,代价函数的种类,权重初始化的方法,输出层的编码方式;其次根据宽泛策略给出一个结构较为简单神经网络,在这里可以确定网络层数,神经元个数;最后依次确定学习率,minibatch,lambda和回合数。原创 2017-08-18 10:33:06 · 51087 阅读 · 1 评论 -
二、神经网络的结构
本博客主要内容为图书《神经网络与深度学习》和国立台湾大学林轩田老师的《Machine Learning》的学习笔记,因此在全文中对它们多次引用。初出茅庐,学艺不精,有不足之处还望大家不吝赐教。1. 神经网络的结构1.1 前馈神经网络的结构示意图 前馈神经网络的结构如下图\color{red}{下图}所示 图X.\color{red}{图X.} 神经网络结构示意图 ⽹络中最左边的称为输⼊层原创 2017-08-09 19:59:01 · 2663 阅读 · 0 评论 -
一、神经网络 -- 从感知机讲起
本博客主要内容为图书《神经网络与深度学习》和National Taiwan University (NTU)林轩田老师的《Machine Learning》的学习笔记,因此在全文中对它们多次引用。初出茅庐,学艺不精,有不足之处还望大家不吝赐教。1. 感知机、sigmoid神经元与逻辑回归之间的关系1.1 感知机 感知机是由科学家Frank Rosenblatt发明于1950至1960年代,它受到原创 2017-08-12 12:37:04 · 1148 阅读 · 0 评论 -
四、用简单神经网络识别手写数字(内含代码详解及订正)
正文原创 2017-08-12 15:56:37 · 4538 阅读 · 4 评论 -
八、改进神经网络的学习方法(4):权重初始化
本文主要介绍第四种改进神将网络的方法,即权重初始化。首先我们指出采用均值为0、标准差为1的独立高斯随机变量初始化网络的权重会使得权值输入的分布较宽,使得神经元容易输出饱和,进而降低学习速度,因此在第二部分采用0均值,方差根号下输入神经元数量分之一的独立高斯随机变量初始化网络的权重,降低方差,防止学习减速。实验表明这种方法可以提高学习速度,并在有的时候可以提高网络的分类正确率。原创 2017-08-17 11:19:29 · 6171 阅读 · 2 评论 -
十六、图像识别领域近期进展 & 其他深度模型介绍
本片博客主要回顾了1998-2014年期间深度学习的部分发展过程,并对其他的深度学习模型进行了超简单的介绍。原创 2017-10-01 20:37:47 · 794 阅读 · 0 评论