Day2 设立计算图并自动计算(给代码截图参考)
- numpy和pytorch实现梯度下降法
1.2. 设定初始值
1.3. 求取梯度
1.4. 在梯度方向上进行参数的更新
1.5. numpy和pytorch实现线性回归 - pytorch实现一个简单的神经网络
a. 实现梯度下降Gradient Descent
原理:训练模型的目的→为了得到合适的w和b→合适的w,b是误差函数的最小值点→沿着误差函数的导数(梯度)下降的方向可找到函数的极小值点(简单的就是该点 ,复杂的后面讨论极小值与最小值点)→梯度下降法来一步步的迭代求解,找到该点
#导包
import torch
#
import torch.nn as nn
import numpy as np
import matplotlib.pyplot as plt
#设置超参数
# Hyper-parameters
input_size = 1
output_size = 1
#训练的次数?
num_epochs = 60
#学习率,相当于步长,太大会振荡,太小会影响效率
learning_rate = 0.001
#训练数据集
# Toy dataset
x_train = np.array([[3.3], [4.4], [5.5], [6.71], [6.93], [4.168],
[9.779], [6.182], [7.59], [2.167], [7.042],
[10.791], [5.313], [7.997], [3.1]], dtype=np.float32)
y_train = np.array([[1.7], [2.76], [2.09], [3