一、梯度下降和梯度的介绍
1、定义
梯度:是一个向量,导数+变化量快的方向(学习的前进方向)。在机器学习里,有一个机器学习模型f,为 f(z,w)=Y(不是完整公式,这里只做示意):
梯度下降:指的是更新上面的w的过程,即算出导数,作用是算出梯度,并更新w.
常见的导数计算:
多元函数求偏导:
计算图:把数据和操作通过图来表示
反向传播算法:从后往前,计算每一层的梯度,并通过变量存储起来,因此计算量很大的时候,相当好内存。
二、Pytorch完成线性回归
1、向前计算
对于pytorch中的一个tensor, 如果设置它的属性,requires_grad为True, 那么它将会追踪对于该张量的所有操作,或者可以理解为,这个参数会被计算梯度,并更新该参数。
# 举例
import torch
x = torch.ones(2, 2, requires_grad=True) # 以后每次计算都会修改grad_fn属性
print(x)
y = x+2
print(y)
2、反向传播
直接调用 output.backward(),此时会根据损失函数去计算梯度。
3、获取梯度
x.grad,此时还并未更新梯度。这是累加梯度,因此每次反向传播之前,需要将梯度置为0,。
4、获取tensor中的数据
直接调用 tensor.data
5、实现tensor的数据深拷贝,转化为ndarray类型
直接调用:tensor.detach().numpy()
6、线性回归的实现
(1)准备数据
(2)计算预测值
(3)计算损失,把参数的梯度置为0,进行反向传播
(4)更新参数
import torch
import numpy as np
from matplotlib import pyplot as plt
#1. 准备数据 y = 3x+0.8,准备参数
x = torch.rand([50])
y = 3*x + 0.8
w = torch.rand(1,requires_grad=True)
b = torch.rand(1,requires_grad=True)
def loss_fn(y,y_predict):
loss = (y_predict-y).pow(2).mean()
for i in [w,b]:
# 每次反向传播前把梯度置为0
if i.grad is not None:
i.grad.data.zero_()
# [i.grad.data.zero_() for i in [w,b] if i.grad is not None]
loss.backward()
return loss.data
def optimize(learning_rate):
# print(w.grad.data,w.data,b.data)
w.data -= learning_rate* w.grad.data
b.data -= learning_rate* b.grad.data
for i in range(3000):
#2. 计算预测值
y_predict = x*w + b
#3.计算损失,把参数的梯度置为0,进行反向传播
loss = loss_fn(y,y_predict)
if i%500 == 0:
print(i,loss)
#4. 更新参数w和b
optimize(0.01)
# 绘制图形,观察训练结束的预测值和真实值
predict = x*w + b #使用训练后的w和b计算预测值
plt.scatter(x.data.numpy(), y.data.numpy(),c = "r")
plt.plot(x.data.numpy(), predict.data.numpy())
plt.show()
print("w",w)
print("b",b)