《深度学习》花书学习第三周

深度学习第三周
一、学习内容
第六章 深度前馈网络
------------------------------------------------------------------------------------------------8月12日起
6.1 实例：学习XOR······································145
6.2 基于梯度的学习······································152
6.3 隐藏单元············································165
6.4 结构单元············································170
6.5 BP和其他的微分算法··································175
------------------------------------------------------------------------------------------------8月18日起

二、学习目标
1.理解什么是XOR问题（一种非线性问题，用线性的拟合算法无法解决），为什么经由神经网络提取的特征表示的变换空间中，线性模型可以解决这个问题。
2.掌握前馈神经网络的一般结构。
3.什么是激活函数，其用途是什么，有哪些类型，分别有什么特点，适合什么问题。（主要掌握sigmoid函数和ReLU函数，别的地方也会叫逻辑回归函数，线性整流函数）
4.理解通用近似定理（花书171），其说明了为什么神经网络在很多问题上是有效的（花书：通用近似定理说明了存在一个足够大的网络能够达到我们所希望的任意精度，但是定理并没有说这个网络有多大。）
5.掌握BP神经网络，能手推公式
6.什么是梯度消失，梯度爆炸。（https://blog.csdn.net/qq_25737169/article/details/78847691
上面那篇博客讲的很好），清楚梯度消失和梯度爆炸跟激活函数有什么关系。

三、思维导图