李沐-动手学深度学习Pytorch版（逐渐更新版）

之前没接触过深度学习，但是研究生需要用到
看李沐老师的动手学深度学习（书和视频）
整理了一下大致的内容，希望可以给大家一个梳理
下面是两个可以参考的链接
视频链接：
这个课程有几个版本
动手学深度学习mxnet版
动手学深度学习Pytorch版
可以根据自己的需要选择对应的版本
本文使用的是Pytorch版本
课程资料：
课程资料

01 课程安排

what：知道一些专有名词
how：能够做出来
why：一些直觉、数学上的解释以及猜想
（作为学生要知道：what&how&why）

02 深度学习介绍

• 深度学习的应用：
  图片分类
  物体分割和检测
  样式迁移（把样式图片和内容图片结合-类似于滤镜）
  人脸合成（用算法合成人脸-假的人脸）
  文字生成图片
  文字生成（gpt3-问问题然后回答）
  无人驾驶
• 案例研究-广告点击
  
  预测点击率
  
  

03 安装

这里演示了如何从零开始在Ubuntu上安装
不会的同学可以去看一下原视频
原视频链接：
03 安装-动手学深度学习

04 数据操作+数据预处理

数据操作




这里有点小问题：一列:[:,1]

数据预处理



数值域采用均值插值

NA类用0,1表示

05 线性代数

概念












练习

reshape里面参数的含义（channel，行，列）
a=torch.tensor([[[1,2,3],[4,5,6]], [[7,8,9],[10,11,12]]])
a是2通道，2行，3列的张量
a的shape: torch.Size([2, 2, 3])

06 矩阵

梯度指向值变化最大的方向
重要的是理解




不用自己计算，但是要知道导数的形状和input的形状变化是什么样子的

07 自动求导

正向和反向计算的代价差不多，但是反向需要的内存小

08 线性回归+基础优化方法

线性回归










这里除以n是因为要求平均


基础优化方法

超参数：需要人为指定的参数

太大了样本重复率会比较高

代码实现

%matplotlib inline
import random
import torch
from d2l import torch as d2l
#构造人造数据集
def synthetic_data(w,b,num_examples):
    x = torch.normal(0,1,(num_examples,len(w)))
    y = torch.matmul(x,w)+b
    y += torch.normal(0,0.01,y.shape)
    return x,y.reshape((-1,1))

true_w = torch.tensor([2,-3.4])
true_b = 4.2
features,lables = synthetic_data(true_w,true_b,1000)
#features是x(房子几厅几室)，lables是y(房子的实际价格)

#在数据集里取出batch-size
def data_iter(batch_size,features,lables):
    num_examples = len(features)
    indices = list(range(num_examples))
    random.shuffle(indices)
    for i in range(0,num_examples,batch_size):
        batch_indices = torch.tensor(
            indices[i:min(i + batch_size,num_examples)])
        yield features[batch_indices],lables[batch_indices]

batch_size = 10

for x,y in data_iter(batch_size,features,lables):
    print(x,'\n',y)
    break

#定义初始化模型参数
w = torch.normal(0,0.1,size=(2,1),requires_grad=True)#在 PyTorch 中，requires_grad=True 是一个参数，用于指定一个张量（Tensor）是否需要梯度计算。当设置为 True 时，PyTorch 会跟踪对这个张量进行的所有操作，以便在调用 .backward() 方法时自动计算梯度。这对于自动微分和梯度下降等优化算法至关重要，因为它们是训练神经网络等机器学习模型的基础。
b = torch.zeros(1,requires_grad=True)
#定义模型
def linreg(x,w,b):
    return torch.matmul(x,w)+b #torch.matmul是 PyTorch 库中的一个函数，用于计算两个张量（Tensor）的矩阵乘积。这个函数可以处理不同形状和维度的张量，支持广播机制，并且能够进行二维或更高维张量的矩阵乘法操作。
#定义损失函数
def squared_loss(y_hat,y):
    return (y_hat - y.reshape(y_hat.shape))**2/2
#定义优化算法
def sgd(params,lr,batch_size):
    with torch.no_grad():
        for param in params:
            param -= lr * param.grad / batch_size
            param.grad.zero_()

#开始训练
lr = 0.03
num_epochs = 3
net = linreg
loss = squared_loss

for epoch in range(num_epochs):
    for x,y in data_iter(batch_size,features,lables):
        l = loss(net(x,w,b),y)
        l.sum().backward()
        sgd([w,b],lr,batch_size)
    with torch.no_grad():
        train_1 = loss(net(features,w,b),lables)
        print(f'epoch{epoch+1}, loss: {train_1.mean():.4f}')

动手BUGS

No module named ‘d2l’

找不到d2l包
d2l是字母d，数字2，字母l的组合【不是数字1】
解决办法：
直接在Anaconda中的Prompt里面输入pip install -U d2l
或者在每次程序运行之前，都输入一个!pip install -U d2l
如果下载成功，重启jupyter就行
如果报错：
ERROR: Could not install packages due to an EnvironmentError:
[WinError 5] 拒绝访问。:
‘D:\Anaconda3\Lib\site-packages~umpy\core_multiarray_tests.cp38-win_amd64.pyd’
Consider using the --user option or check the permissions
那就换个命令：pip install --user d2l
完成后重启jupyter即可使用
这个“d2l”包还是需要下载安装的，后续很多实验都需要用到