Datawhale202401组队吃瓜——第四次整理

最新推荐文章于 2024-10-08 12:37:10 发布

千里茫茫如梦

最新推荐文章于 2024-10-08 12:37:10 发布

阅读量385

点赞数 5

文章标签： python 机器学习

本文链接：https://blog.csdn.net/m0_61420917/article/details/135984412

版权

西瓜书，第五章神经网络

一、神经元与神经网络

仿生的设计，神经元（数据），以参数的方式加权求和传递

二、感知机与多层网络

我特别喜欢将多层感知机与视觉神经进行对照，这两者无论是从结构还是功能上都有相似之处。这也是我觉得神经网络美妙之处。

三、反向传递的优化过程

如今假设有很多数据模型是 y=3a+2b+1，神经网络是如何学习的？
比如a=1,b=2,y应该是10
而假设最开始模型随机生成的模型是 1a+1b+0，结果是5。如果损失函数是MAE，那么该组数据与真实值还有5的差异，就会通过反向传播的算法，返回去优化参数w1，w2和bias。
反向传播是基于梯度下降的方式，在以下最简单的网络中，可以迅速计算出绝对值损失是5，然后通过loss的反向传播，计算出到梯度下降的方向

import torch

# 定义输入张量，并设置 requires_grad 为 True，表示我们要计算梯度
x1 = torch.tensor(1.0, requires_grad=True)
x2 = torch.tensor(2.0, requires_grad=True)

# 定义真实模型
y_true = 3*x1 + 2*x2 + 1
#假设初始的参数模型是y = x1 + x2
y1 = x1 + x2
loss1= torch.abs(y_true - y1)

# 执行反向传播
loss1.backward(retain_graph=True)
# 访问梯度
print("在初始模型是y = x1 + x2时:")
print("x1 的梯度:", x1.grad.item(),"  x2 的梯度:", x2.grad.item())


#把x1,x2梯度清空计算另一种情况
x1.grad.zero_()
x2.grad.zero_()
y2=  x1+ 4*x2
loss2 = y_true - y2
loss2.backward()
# 访问梯度
print("在初始模型是y = x1 + 4*x2时:")
print("x1 的梯度:", x1.grad.item(),"  x2 的梯度:", x2.grad.item())