深度学习的数学之神经网络的思想

  这篇主要介绍一下神经单元的由来、结构，激活函数、偏置以及神经单元的输出表达式，此外，介绍一下神经网络和深度学习的相关概念。

1.神经元的数学表示

  深度学习中的神经元是仿照动物大脑中的神经元的工作模式发展而来
  动物大脑中的神经元有以下特性（这里从多方面描述）
   1. 语言描述
     a. 神经元形成网络
     b. 对于从其他多个神经元传递过来的信号，如果他们的和不超过某个固定大小的值（阈值），则神经元不作出任何反应
    c. 对于从其他多个神经元传递过来的信号，如果他们的和超过某个固定大小的值（阈值），则神经元做出反应（称为点火），向另外的神经元传递固定强度的信号
     d. 在2和3中，从多个神经元传递过来的信号之和中，每个信号对应的权重不一样
  2. 图形表示
    假设有一个神经元接收3个神经元$x_1,x_2,x_3$的输入，每个神经元的权重为$w_1,w_2,w_3$，输出为$y$。以所有神经元的加权输入为横轴，输出为纵轴，图形如下：

  3. 数学表示
    1）来自其他多个神经元的加权输入
    2）判断是否超过阈值，是-点火-输出y=1；否，忽略，输出y=0
  4. 表达式表示
    需要用到单位阶跃函数$$u(z)=\{\begin{array}{ll}1,& z\ge 0\\ 0,& z<0\end{array}$$  为了与神经元的加权输入一致，这里令$z=w_1{x}_1+w_2{x}_2$