深度学习（一）单个神经元

单个神经元

神经网络是由多个神经元组成，一个神经元由以下几个关键知识点组成：

• 激活函数
• 损失函数
• 梯度下降

---

单个神经元的网络计算公式：

$$z=\sum_{i=1}^nw_i\times x_i + b = w\cdot x + b\tag{1}$$
如公式(1)中， $z$为输出结果； $x$为输入； $w$为权重； $b$为偏置值。 $w$和 $b$可以理解为两个变量。
模型每次的学习都是为了调整 $w$和 $b$从而得到一个合适的值，最终由这个值配合运算公式所形成的逻辑就是神经网络的模型。

正向传播和反向传播：
正向传播数据是从输入到输出的流向传递过来的，当然，它是在一个假设有合适的w和b的基础上，才可以实现对现实环境的正确拟合。但是，在实际过程中，我们无法得知w和b的值具体是多少才算正常的。于是我们加入了一个训练过程，通过反向误差传递的方法让模型自动来修正，最终产生一个合适的权重。
反向传播的意义很明确——告诉模型我们需要将w和b调整到多少。在刚开始没有得到合适的权重时，正向传播生成的结果与实际的标签是有误差的，反向传播就是要把这个误差传递给权重，让权重做适当地调整来打到一个合适的输出。
在实际训练过程中，很难一次将其调整到位，而是通过多次迭代一点一点的将其修正，最终直到模型的输出值与实际标签值的误差小于某个阈值为止。

BP算法（误差反向传播算法）：
得出损失值表达式，运用数学知识，选择一个损失值的表达式让这个表达式有最小值，接着对其求导，找到最小值时刻的函数切线斜率（即梯度），从而让w和b的值沿着这个梯度来调整。引入“学习率”来控制每次调整多少。

---

激活函数——加入非线性因素，解决线性模型缺陷

神经网络是处处可微的，所以选择的激活函数要能保证数据输入与输出也是可微的。常用的激活函数有Sigmoid、Tanh和relu等，下面逐一介绍。

Sigmoid函数