两层神经网络，反向传导

最新推荐文章于 2022-12-30 10:51:39 发布

李嗷纳多

最新推荐文章于 2022-12-30 10:51:39 发布

阅读量289

点赞数

分类专栏：神经网络

本文链接：https://blog.csdn.net/m0_37738150/article/details/112343363

版权

神经网络专栏收录该内容

1 篇文章 0 订阅

订阅专栏

这段代码演示了如何用神经网络进行预测，包括前向传播计算预测值，损失函数计算误差，以及反向传播求取权重梯度并更新权重的过程。网络结构为全连接层，输入维度为100，隐藏层节点数为100，输出维度为10。训练进行了500轮，学习率为1e-6。

摘要由CSDN通过智能技术生成

#神经网络
import numpy as np
N, D_in, H, D_out = 64, 100, 100, 10
x = np.random.randn(N, D_in) #64*1000
y = np.random.randn(N, D_out) #64*10

w1 = np.random.randn(D_in, H) #1000*100
w2 = np.random.randn(H, D_out) #100*10

learning_rate =1e-6

for t in range(500):
# Forward pass: compute predicted y
h = x.dot(w1) #same to np.dot(x,w1), h:64*100
h_relu = np.maximum(h, 0) #64*100
y_pred = h_relu.dot(w2) #64*10

# Compute and print loss
loss = np.square(y_pred - y).sum()
print(t, loss)

# Backprop to compute gradients of w1 and w2 with respect to loss
grad_y_pred = 2.0 * (y_pred - y)
grad_w2 = h_relu.T.dot(grad_y_pred) #h_relu.T is the transpose of h_relu，也就是转置,h_relu.T:100*64
grad_h_relu = grad_y_pred.dot(w2.T)
grad_h = grad_h_relu.copy()
grad_h[h < 0] = 0
grad_w1 = x.T.dot(grad_h)

# Update weights
w1 -= learning_rate * grad_w1
w2 -= learning_rate * grad_w2