神经网络学习01

        由于涉及到数学公式，不想重新编辑了，很多都是直接截图复制的。

        本人也是初学者，想从初学者的角度聊一下神经网络入门，全当记录自己的学习过程。闲话少叙，言归正传。

        首先举个例子，这个周末深圳市有一个车展，小明有去看展的想法。现在决定小明做出去和不去的选择有三个约束条件：

        第1个条件，天气好不好【好-1，不好-0】；

        第2个条件，路况好不好【好-1，不好-0】；

        第3个条件，女朋友去不去【去-1，不去-0】。

        正常情况下，每个条件对小明做出决定的影响力是不同的。

        如果说这是一个神经网络，多少欠缺一些说服力，那再变的复杂一些。假设小明、小华、小李三个人想一起去看车展，但是每个人都要根据上面说的三个条件来决定能不能去。于是他们约定，如果周末那天有至少两个人愿意去就决定去，否则不去。

那决策过程就可以用下面的图来表示：

 

       

         现在我想知道，根据上面的已知数据当输入(0,0,1)的时候输出是去看车展还是看画展呢？那我们怎么做呢，根据上面的公式，我们要想计算出输出，必须要知道神相邻两层神经元之间的权重和每个神经元的偏置。那么我们知道权重和偏置呢，只有根据已知条件来计算。这个计算权重和偏置的过程其实就是神经网络的学习过程。那么我们构建一个只有一个隐藏层的神经网络：

对于最后一层的激活函数，根据任务来确定是加还是不加。

常用的激活函数主要有三种，分别是阶跃函数、Sigmoid函数和ReLU函数，当然此外还有双曲正切函数等。函数曲线看下图：

阶跃函数：当输入小于等于0时，输出0；当输入大于0时，输出1；

Sigmoid函数：当输入趋近与正穷时，输出无限接近1；当输入趋近负无穷时，输出去向1；

ReLU函数：当输入小于0时，输出0；当输入大于0时，输出等于输入。

参考资料：

​​​​​​神经网络15分钟入门！足够通俗易懂了吧 - 知乎

书《神经网络与深度学习》