深度学习笔记（2）

本小结整理神经网络。

1、神经网络的基本单元是节点，节点是最小单元，网络中用于确定模型的方法称为学习规则。

2、节点把加权和传递给激活函数，产生输出。

3、输入层与输出层之间的层称为隐藏层，因无法从神经网络外部接触到这一层而得名。

4、多层神经网络包含一个输入层、隐藏层以及一个输出层。其中只有一个隐藏层的神经网络被称之为浅层神经网络，含有俩个或者多个隐藏层的多层神经网络被称之为深度神经网络。

5、当隐藏层节点的激活函数是线性函数时，隐藏层将变得无效，但是输出层的节点可以（有时甚至是必须，比如回归问题）采用线性激活函数。

6、总的来说，神经网络的监督学习步骤：1）初始化权重；2）数据训练；3）调整权重减少误差；4）重复训练2、3。

7、监督学习通过训练不断修正误差。

8、Sigmoid函数的输出范围是0-1，当需要神经网络输出概率时，该函数非常有用。

9、随机梯度下降（SGD）、批量（batch）和小批量（minibatch）算法是三种典型的可用于神经网络监督学习过程的算法。SGD算法计算每个训练数据的误差并随机调整权重，随机表明了训练过程的随机性；批量算法使用全部训练数据分别计算出权重更新值，接着用权重更新值的平均值来调整权重，最后只更新权重一次；小批量算法是SGD和批量算法的混合形式，常被应用于需要处理大量数据的深度学习模型。

10、轮（epoch）是全部数据都参与了训练的循环。

11、广义增量规则：对于任意一个激活函数，都可以用下面的式子来表示增量规则，

即：          

12、如何理解神经网络输入数据有时是多维矩阵？比如多组相互独立的数据进行批量训练。

13、通常批量算法需要更多的时间训练神经网络才能获得与采用SGD算法精度相当的神经网络，即批量算法的学习速度更慢。

14、单层神经网络是一种线性地分割输入数据空间的模型，仅能够解决线性可分割问题。