从0到1实现神经网络（Python）中

帮助初学者理解什么是神经网络。使用Python从头实现一个神经网络来理解神经网络的原理，分为上下三章。1-3会在上章介绍，4-8会在中章介绍。

1. 神经网络的基本结构——神经元；

2. 在神经元中使用S型激活函数；

3. 神经网络就是连接在一起的神经元；

4. 构建一个数据集，输入（或特征）是体重和身高，输出（或标签）是性别；

5. 学习损失函数；

6. 训练网络就是最小化其损失；

7. 用反向传播方法计算偏导；

8. 随机梯度下降法训练网络；

4.构建一个数据集

 现在构建这样的数据

姓名	体重(磅)	身高 (英寸)	性别
Alice	133	65	F
Bob	160	72	M
Charlie	152	70	M
Diana	120	60	F

接下来我们用这个数据来训练神经网络的权重和截距项，从而可以根据身高体重预测性别。 

对数值进行标准化，用0和1分别表示男性（M）和女性（F），并对体重-135和对身高-66

姓名	体重 (减 135)	身高 (减 66)	性别
Alice	-2	-1	1
Bob	25	6	0
Charlie	17	4	0
Diana	-15	-6	1

5.学习损失函数;

在训练网络之前，我们需要量化当前的网络是“好”还是“坏”，从而可以寻找更好的网络。这就是定义损失的目的。

这里采用平均方差（MSE）损失： 

(y_true - y_pred)^2被称为方差（squared error）。我们的损失函数就是所有方差的平均值。

下面是计算MSE损失的代码： 

import numpy as np

def mse_loss(y_true, y_pred):
  # y_true and y_pred are numpy arrays of the same length.
  return ((y_true - y_pred) ** 2).mean()

y_true = np.array([1, 0, 0, 1])
y_pred = np.array([0, 0, 0, 0])

print(mse_loss(y_true, y_pred)) # 0.5

6.训练网络就是最小化其损失

假设我们的网络总是输出0，换言之就是认为所有人都是男性。损失如何？

Name	y_true	y_pred	(y_true - y_pred)^2
Alice	1	0	1
Bob	0	0	0
Charlie	0	0	0
Diana	1	0	1

MSE=(1+0+0+1)/4=0.5 

假设我们的网络输出全部正确，损失如何？

Name	y_true	y_pred	(y_true - y_pred)^2
Alice	1	1	1
Bob	0	0	0
Charlie	0	0	0
Diana	1	1	1

MSE=(0+0+0+0)/4=0 

预测效果越好，损失就越少。

更好的预测 = 更少的损失！------>训练网络 = 最小化它的损失。

现在我们有了一个明确的目标：最小化神经网络的损失。通过调整网络的权重和截距项，我们可以改变其预测结果，但如何才能逐步地减少损失？

这就需要计算损失偏导

7.用反向传播方法计算偏导；

把损失看成是权重和截距项的函数。让我们给网络标上权重和截距项

计算偏导的方法叫『反向传播算法』(backpropagation)。

中间求导微分过程看不懂可跳过，但是一定要理解损失函数L对w1可求偏导计算，也就是说w1会对L有影响。

那么实际进行网络训练时，我们就可以通过调整w从而影响L，而L越小，网络性能越好。

8.随机梯度下降法训练网络；

上面几章的介绍l训练神经网络所有前期准备，这一章介绍训练过程如果调整w和b呢

使用名为随机梯度下降法的优化算法来优化网络的权重和截距项，实现损失的最小化。核心就是这个更新等式：

如果我们对网络中的每个权重和截距项都这样进行优化，损失就会不断下降，网络性能会不断上升。

总结

神经网络的总体训练过程是这样的：

1. 从我们的数据集中选择一个样本，用随机梯度下降法进行优化——每次我们都只针对一个样本进行优化；

2. 计算每个权重或截距项对损失的偏导

3. 用更新等式更新每个权重和截距项；

4. 重复第一步；