人工神经网络ANN的一些概念的集合

神经网络，学生时，特意修了这门课，但完全找不到感觉，内容基本不理解，实验无头绪。经历了一些项目实践，现在回头再理解NN，一些概念自然就理解了。

1. 

单层神经网络：
输入
输出
激活函数： 非线性，就是指这个激活函数。z是各输入数据与系数的加权和，a是输出。
权值系数w，与输入仍然成线性关系


多层神经网络
表象的概念：
输入层
输出层
隐藏层
----
权值：也扩展至二维w(i, j)


根据传播形式：
前向传播
前馈网络: 无闭环
反向传导算法： 如何求解神经网络。  训练，  识别。

2. 

一个重要概念：  梯度下降算法 --> 批量梯度下降算法

cost function： 代价函数，即 计算值与真实值的差异。一般用均方差表示。

代价函数的概念极其重要，因为它是进行分类和回归的中心。代价函数就是衡量 参数w和b依据。 代价函数越小，那么计算出的参数w，b就越好。

我们的目标： 针对w，b；求代价函数的最小值。

代价函数除了均方差的概念，为防止过度拟合，还需增加一个 规则化项（也叫权重衰减项），以减小权重的幅度。
又一个概念：
过度拟合overfitting： 有什么现象，后果？ 就是训练时，数据噪声太大，拟合出来的模型，不能满足实际的数据应用。就是拟合失败，训练失败。模型能适用训练数据，不适合一般的数据。
解决方法： 对神经网络，增加权重衰减项； 对决策树，依据一定规则修剪树。

3. 

如何求w，b，让代价函数cost function有一个最小值？

采用训练的方式，重复计算，并保证w，b能收敛。这就是机器学习。

1）. w，b初始化为一个值。一般初始化为一个很小的、接近为0的随机值，如正态分布N(0, 0.01)。（为什么？） 

如果将所有系数都初始化为0，则对于隐藏层，所有的输入值都相同。随机，就是使对称失效。（这个就是那么个意思，解释起来太拗口）。初始化系数都为0.任何输入 相乘后，激活函数的输入都等于b，偏置项。

2）. 取输入，输出对（x，y）

3）. 然后利用梯度下降算法。计算最优的w，b。

相同的输入、输出，只需要不停的更新w，b即可。

4）. 最后考虑局部解与全局最优解的问题。

4. 

概念： 梯度下降算法。 最优化中的基本算法之一。又称最速下降法。 沿负梯度方向下降最快。一种简单的形式：x(k+1)=x(k)-a*g(k)，g(k)为梯度方向，a是一个学习系数。

求cost function的负梯度方向。求各方向的偏导，相加，求模，相除。

带入此点系数w，b，x，y。即可求出此点的具体的梯度方向。

最后，如何求偏导。神经网络的cost function只是个概念，只有象形的公式，没有具体的公式。所以，无法利用直接的公式进行求导。

1） 前向传播，计算所有节点的激活值

2）反向传播，计算所有节点的残差

3）利用残差，更新偏导数