帮助初学者理解什么是神经网络。使用Python从头实现一个神经网络来理解神经网络的原理,分为上下三章。1-3会在上章介绍,4-8会在中章介绍。
-
神经网络的基本结构——神经元;
-
在神经元中使用S型激活函数;
-
神经网络就是连接在一起的神经元;
-
构建一个数据集,输入(或特征)是体重和身高,输出(或标签)是性别;
-
学习损失函数;
-
训练网络就是最小化其损失;
-
用反向传播方法计算偏导;
-
随机梯度下降法训练网络;
4.构建一个数据集
现在构建这样的数据
姓名 | 体重(磅) | 身高 (英寸) | 性别 |
---|---|---|---|
Alice | 133 | 65 | F |
Bob | 160 | 72 | M |
Charlie | 152 | 70 | M |
Diana | 120 | 60 | F |
接下来我们用这个数据来训练神经网络的权重和截距项,从而可以根据身高体重预测性别。
对数值进行标准化,用0和1分别表示男性(M)和女性(F),并对体重-135和对身高-66
姓名 | 体重 (减 135) | 身高 (减 66) | 性别 |
---|---|---|---|
Alice | -2 | -1 | 1 |
Bob | 25 | 6 | 0 |
Charlie | 17 | 4 | 0 |
Diana | -15 | -6 | 1 |
5.学习损失函数;
在训练网络之前,我们需要量化当前的网络是“好”还是“坏”,从而可以寻找更好的网络。这就是定义损失的目的。
这里采用平均方差(MSE)损失:
(y_true - y_pred)^2被称为方差(squared error)。我们的损失函数就是所有方差的平均值。
下面是计算MSE损失的代码:
import numpy as np
def mse_loss(y_true, y_pred):
# y_true and y_pred are numpy arrays of the same length.
return ((y_true - y_pred) ** 2).mean()
y_true = np.array([1, 0, 0, 1])
y_pred = np.array([0, 0, 0, 0])
print(mse_loss(y_true, y_pred)) # 0.5
6.训练网络就是最小化其损失
假设我们的网络总是输出0,换言之就是认为所有人都是男性。损失如何?
Name | y_true | y_pred | (y_true - y_pred)^2 |
---|---|---|---|
Alice | 1 | 0 | 1 |
Bob | 0 | 0 | 0 |
Charlie | 0 | 0 | 0 |
Diana | 1 | 0 | 1 |
MSE=(1+0+0+1)/4=0.5
假设我们的网络输出全部正确,损失如何?
Name | y_true | y_pred | (y_true - y_pred)^2 |
---|---|---|---|
Alice | 1 | 1 | 1 |
Bob | 0 | 0 | 0 |
Charlie | 0 | 0 | 0 |
Diana | 1 | 1 | 1 |
MSE=(0+0+0+0)/4=0
预测效果越好,损失就越少。
更好的预测 = 更少的损失!------>训练网络 = 最小化它的损失。
现在我们有了一个明确的目标:最小化神经网络的损失。通过调整网络的权重和截距项,我们可以改变其预测结果,但如何才能逐步地减少损失?
这就需要计算损失偏导
7.用反向传播方法计算偏导;
把损失看成是权重和截距项的函数。让我们给网络标上权重和截距项
计算偏导的方法叫『反向传播算法』(backpropagation)。
中间求导微分过程看不懂可跳过,但是一定要理解损失函数L对w1可求偏导计算,也就是说w1会对L有影响。
那么实际进行网络训练时,我们就可以通过调整w从而影响L,而L越小,网络性能越好。
8.随机梯度下降法训练网络;
上面几章的介绍l训练神经网络所有前期准备,这一章介绍训练过程如果调整w和b呢
使用名为随机梯度下降法的优化算法来优化网络的权重和截距项,实现损失的最小化。核心就是这个更新等式:
如果我们对网络中的每个权重和截距项都这样进行优化,损失就会不断下降,网络性能会不断上升。
总结
神经网络的总体训练过程是这样的:
-
从我们的数据集中选择一个样本,用随机梯度下降法进行优化——每次我们都只针对一个样本进行优化;
-
计算每个权重或截距项对损失的偏导
-
用更新等式更新每个权重和截距项;
-
重复第一步;