神经元细节

单个神经元的模型如下图所示：

在右图中，神经元的激励反应可分为两大部分：
1、神经元接受刺激，并对所有的刺激进行加权求和，然后加上偏置，得到激励值；
2、将激励值作为输入，输入到激活函数，最后通过激励函数的作用得到最后的响应；
注意：这里总共分为两个过程，不能忽视最后激活函数的作用。

一个线性分类器就可以看作是一个单个神经元，其中的线性指对各个刺激Xi的线性加权，激活函数f将刺激映射到各个分类区间中去。

偏置的意义：
最基础的神经元感知器如下:

这个例子中输入为x_1, x_2, x_3 三个变量, 输出为0或1. 当三个变量的加权和$\sum_iw_ix_i$大于某个阈值的时候, 输出为1, 反之为0.

$output = \left\{ \begin{array}{ll} 0 & \textrm{if $\sum_iw_ix_i < $threshold }\\ 1 & \textrm{if $\sum_iw_ix_i \geq $threshold } \end{array} \right.$

注意这里的阈值, 它度量了神经元产生正(负)激励的难易程度.也就是说，在上文的模型中, 阈值越大, 产生正激励的难度越大.

而为了更好的计算和表达，我们可以把其中的b和$\sum_iw_ix_i$移到同一边，同时给他取了一个不错的名字，叫做偏置Bias，而w叫做权重weight！

$output = \left\{ \begin{array}{ll} 0 & \textrm{if $\sum_iw_ix_i +b< 0$}\\ 1 & \textrm{if $\sum_iw_ix_i +b\geq 0$ } \end{array} \right.$

也就是说： 偏置的大小度量了神经元产生正(负)激励的难易程度.

这是最简单的感知器神经元. 而现代神经网络中常用的Sigmoid, tanh或是ReLU都是在$\textbf{w} \cdot \textbf{x} + b$的基础上加上一个激活函数, Bias也就是b的意义是一样的。

同时对于偏置需要注意的点是：偏置是不需要正则化的，并且正则化偏置的话会导致欠拟合。我们从意义上去理解话，若对偏置正则化（惩罚），会导致激活变得更加简单，偏差就会上升，学习的能力就会下降！

https://zhuanlan.zhihu.com/p/29633019