之前没接触过深度学习,但是研究生需要用到
看李沐老师的动手学深度学习(书和视频)
整理了一下大致的内容,希望可以给大家一个梳理
下面是两个可以参考的链接
视频链接:
这个课程有几个版本
动手学深度学习mxnet版
动手学深度学习Pytorch版
可以根据自己的需要选择对应的版本
本文使用的是Pytorch版本
课程资料:
课程资料
文章目录
01 课程安排
what:知道一些专有名词
how:能够做出来
why:一些直觉、数学上的解释以及猜想
(作为学生要知道:what&how&why)
02 深度学习介绍
- 深度学习的应用:
图片分类
物体分割和检测
样式迁移(把样式图片和内容图片结合-类似于滤镜)
人脸合成(用算法合成人脸-假的人脸)
文字生成图片
文字生成(gpt3-问问题然后回答)
无人驾驶 - 案例研究-广告点击
预测点击率
03 安装
这里演示了如何从零开始在Ubuntu上安装
不会的同学可以去看一下原视频
原视频链接:
03 安装-动手学深度学习
04 数据操作+数据预处理
数据操作
这里有点小问题:一列:[:,1]
数据预处理
数值域采用均值插值
NA类用0,1表示
05 线性代数
概念
练习
reshape里面参数的含义(channel,行,列)
a=torch.tensor([[[1,2,3],[4,5,6]], [[7,8,9],[10,11,12]]])
a是2通道,2行,3列的张量
a的shape: torch.Size([2, 2, 3])
06 矩阵
梯度指向值变化最大的方向
重要的是理解
不用自己计算,但是要知道导数的形状和input的形状变化是什么样子的
07 自动求导
正向和反向计算的代价差不多,但是反向需要的内存小
08 线性回归+基础优化方法
线性回归
这里除以n是因为要求平均
基础优化方法
超参数:需要人为指定的参数
太大了样本重复率会比较高
代码实现
%matplotlib inline
import random
import torch
from d2l import torch as d2l
#构造人造数据集
def synthetic_data(w,b,num_examples):
x = torch.normal(0,1,(num_examples,len(w)))
y = torch.matmul(x,w)+b
y += torch.normal(0,0.01,y.shape)
return x,y.reshape((-1,1))
true_w = torch.tensor([2,-3.4])
true_b = 4.2
features,lables = synthetic_data(true_w,true_b,1000)
#features是x(房子几厅几室),lables是y(房子的实际价格)
#在数据集里取出batch-size
def data_iter(batch_size,features,lables):
num_examples = len(features)
indices = list(range(num_examples))
random.shuffle(indices)
for i in range(0,num_examples,batch_size):
batch_indices = torch.tensor(
indices[i:min(i + batch_size,num_examples)])
yield features[batch_indices],lables[batch_indices]
batch_size = 10
for x,y in data_iter(batch_size,features,lables):
print(x,'\n',y)
break
#定义初始化模型参数
w = torch.normal(0,0.1,size=(2,1),requires_grad=True)#在 PyTorch 中,requires_grad=True 是一个参数,用于指定一个张量(Tensor)是否需要梯度计算。当设置为 True 时,PyTorch 会跟踪对这个张量进行的所有操作,以便在调用 .backward() 方法时自动计算梯度。这对于自动微分和梯度下降等优化算法至关重要,因为它们是训练神经网络等机器学习模型的基础。
b = torch.zeros(1,requires_grad=True)
#定义模型
def linreg(x,w,b):
return torch.matmul(x,w)+b #torch.matmul是 PyTorch 库中的一个函数,用于计算两个张量(Tensor)的矩阵乘积。这个函数可以处理不同形状和维度的张量,支持广播机制,并且能够进行二维或更高维张量的矩阵乘法操作。
#定义损失函数
def squared_loss(y_hat,y):
return (y_hat - y.reshape(y_hat.shape))**2/2
#定义优化算法
def sgd(params,lr,batch_size):
with torch.no_grad():
for param in params:
param -= lr * param.grad / batch_size
param.grad.zero_()
#开始训练
lr = 0.03
num_epochs = 3
net = linreg
loss = squared_loss
for epoch in range(num_epochs):
for x,y in data_iter(batch_size,features,lables):
l = loss(net(x,w,b),y)
l.sum().backward()
sgd([w,b],lr,batch_size)
with torch.no_grad():
train_1 = loss(net(features,w,b),lables)
print(f'epoch{epoch+1}, loss: {train_1.mean():.4f}')
动手BUGS
No module named ‘d2l’
找不到d2l包
d2l是字母d,数字2,字母l的组合【不是数字1】
解决办法:
直接在Anaconda中的Prompt里面输入pip install -U d2l
或者在每次程序运行之前,都输入一个!pip install -U d2l
如果下载成功,重启jupyter就行
如果报错:
ERROR: Could not install packages due to an EnvironmentError:
[WinError 5] 拒绝访问。:
‘D:\Anaconda3\Lib\site-packages~umpy\core_multiarray_tests.cp38-win_amd64.pyd’
Consider using the --user option or check the permissions
那就换个命令:pip install --user d2l
完成后重启jupyter即可使用
这个“d2l”包还是需要下载安装的,后续很多实验都需要用到