人工神经网络 和梯度下降

1. 什么是神经网络？

    神经网络是一种数学模型，是存在于计算机的神经系统。由大量的神经元相连接并进行计算，在外界信息的基础上，改变内部结构，常用来对输入和输出间复杂的关系进行建模。

2. 人工神经网络中的所有联结是固定不变的；

3. 人工神经网络对比“讨糖果”：我们将很多吃糖的学习数据送入神经网络，糖的信号会作用到手，通过对比这次放入这套神经网络中，手的动作是不是“讨糖”的动作，来修改人工神经网络中的神经元强度，这种方式为“误差反向传递”。
    误差反向传递将传过来的数据再一次传过去，看看这个负责传递信号的神经元对于“讨糖”的动作有没有贡献。

4. 人工神经网络通过正向和反向传播来更新神经元，从而形成一个更好的神经系统。本质上为能让计算机处理和优化的数学模型。

5. 神经网路是如何进行训练的？我们以计算机识别猫为例

    

    每一个神经元都有属于它的激活函数，用这些函数给计算机刺激行为。

    在第一次给计算机看猫的图片的时候，只有部分神经元被激活，被激活的神经元所传递的信息是对输出结果最有价值的信息。如果输出结果判定为狗，就会修改神经元参数。一些容易被激活的神经元变得迟钝，另外一些变得敏感。这样一次次训练下去，所有的神经元的参数都在被改变，它们变得对重要的信息更为敏感。

6. 神经网络  梯度下降：

    a.误差方程：用来计算预测出来的和实际值的差别。预测数值中常用平方差代替， 

     Cost=(predicted-real)^2=(Wx-y)^2

  梯度：蓝色点位置的切线，W是神经网络中的参数。当W取最小值时，梯度最小。简单的说就是找到梯度线水平的点。

   b:神经网络中的W可不止一个， 如果有一个W，就能画出之前那样的误差曲线；有两个W，误差曲线可用3D图来展示；超过3个W，就没有很好的办法可视化出来。

7. 全局和局部最优

       

在简化版的误差曲线中，找到梯度躺平的地方不止有一个；不同的W初始位置，将会带来不同的下降区域。不同的下降区域，又会带来不同的W解。很多时候得出的解是局部最优解，神经网络可以让局部最优解足够优秀，即使拿着局部最优解，也能出色完成手中的任务。

8. 神经网络的黑盒不黑

   神经网络的结构：输入端，黑盒，输出端

   原始特征-->代表特征-->……-->代表特征-->输出