Neural Networks 中的 Weights 和 Biases

当我们使用深度算法时，一定会用到 weights 和 bias，今天我们来看一下这两者的具体作用。

定义

weight

我们知道，神经网络中，每个 neuron 是具有连接性的，但我们也知道，为了能使我们的算法达到预期目的，每个 neuron 的连接强度是不同的。我们通过训练模型，会得出某些 neuron 的连接性会比较强，而有一些会比较弱，那么强度的控制就是通过我们的 weight 来控制。在不断的迭代算饭中，我们也会不断 fine-tuning 我们的 weight，使我们的模型不会 overfitting。

bias

bias 和 weight 不同，这是一个加载 output 中的数值，这是为了增加灵活性。比如，我们制定模型一个场景，但该场景会偏向于一部分数据，这时，bias 就起到了作用，该参数可以把一些我们可能忽略的参数包括进来，增加我们的正确率。但很重要的一点，在不断训练模型的过程中，weights 和 bias 都会不断调整，通过 Gradient Descent 选择方向最快的下降方向，来减少我们的 error。

代码示例

所以，在 neural network 中，weights 和 bias 都起到了至关重要的作用。我们现在看一下在 Keras 中是怎么定义这两个参数的。

import keras
from keras import layers
from keras import initializers

layer = layers.Dense(
    units = 64,
    kernel_initializer=initializers.RandomNormal(stddev=0.1),
    bias_initializer=initializers.zeros()
)

其中 kernel_initializer 就是 weights 的初始值，bias_initializer 是 bias 的初始值。Keras 的初始值有很多种方法， 这里选取了 RandomNormal 给定了 Standard Deviation 是 0.1 （Standard Deviation 是 Variance 的平方根）。

总结

以上就是 Weights 和 bias 的基本概念。