神经网络前向传播和反向传播

两层神经网络

（N，D_I，H，D_O）(64,10000,1000,10)

公式（简化没放b）

H=w1x

y=w2H

#设置learning_ratw=1e-6

#数据初始化

x，y，w，b

#前向传播

把公式的内容写一遍

#计算loss值（y_pred-y）

#反向传播

从loss里得到grad_y_pred--->grad_w2--->grad_h_relu--->grad_h--->grad_w1   反向求导

#更新w1,w2   如果有b的话也更新

w1-=learning_rate*grad_w1

w2-=learning_rate*grad_w2

---

也就是分三步：1.数据、参数、超参数初始化

                        进入循环过程，看你想迭代多少次

                         2.正向传播（公式+loss）

                         3.反向传播（反向梯度计算+更新w、b值）

---