【李沐d2l笔记】李沐d2l-1

目录

01 开始

04 数据操作 + 数据预处理

08 线性回归 + 基础优化算法

基础优化算法 -梯度下降（gradient descent）

09 Softmax 回归 + 损失函数 + 图片分类数据集

10 多层感知机 + 代码实现 

11 模型选择 + 过拟合和欠拟合

---

01 开始

·课程主页:课程安排 - 动手学深度学习课程

·教材:《动手学深度学习》 — 动手学深度学习 2.0.0 documentation

·课程论坛讨论:中文版 - D2L Discussion

·Pytorch论坛:PyTorch Forums

04 数据操作 + 数据预处理

张量（tensor）:n维数组

标量是0维张量，向量是1维张量，矩阵是2维张量

用torch.tensor自定义一个张量

运算符

连结（concatenate）

 

第0维是行，第1维是列

2.1.3. 广播机制

广播机制（broadcasting mechanism）

【行不够或列不够，分别按行复制或按列复制】

1.通过适当复制元素来扩展一个或两个数组，以便在转换之后，两个张量具有相同的形状；

2.对生成的数组执行按元素操作。

2.1.4. 索引和切片

X[-1]最后一行。           X[1:3]第1行到第2行（从第0行开始算）[1,3)

也可写成：

X[-1,:]最后一行。           X[1:3,:]第1行到第3行（从第0行开始算）

示例：

 

运行一些操作可能会导致为新结果分配内存。（析构）

Id(Y)类似C++的指针

使用 Y=Y+X

 

使用 Y+=X

 

也可以使用X[:] = X + Y或X += Y

执行原地操作

 

08 线性回归 + 基础优化算法

线性模型

 

损失函数  loss

训练

参数学习

 

基础优化算法 -梯度下降（gradient descent）

梯度下降

梯度下降（gradient descent）

 

负梯度方向是下降最快的方向。

η学习率（learning rate）

η表示学习率（learning rate）  。不能太小不能太大

小批量随机梯度下降

 

b批量大小(batch_size)

批量大小b不能太小不能太大

总结

·梯度下降通过不断沿着反梯度方向更新参数求解

·小批量随机梯度下降是深度学习默认的求解算法

·两个重要的超参数是批量大小b和学习率η

batch_indices

09 Softmax 回归 + 损失函数 + 图片分类数据集

回归与分类

均方损失

无校验比例

 

校验比例 / softmax(o)

交叉熵损失cross_entropy

交叉熵常用来衡量两个概率的区别

总结

·Softmax 回归是一个多类分类模型

·使用 Softmax 操作子得到每个类的预测置信度

·使用交叉熵来来衡量预测和标号的区别

损失函数

均方损失L2 Loss

蓝色：y=0时，变y_hat得到的l(y,y’)

绿色：似然函数（高斯分布）

橙色：梯度（导数？）

L1 Loss

 

蓝色：y=0时，变y_hat得到的l(y,y’)

绿色：似然函数

橙色：梯度

Huber’s Robust Loss

蓝色：y=0时，变y_hat得到的l(y,y’)

绿色：似然函数

橙色：梯度

图像分类数据集

训练数据集（train dataset）

6000*10

torch.Size([1, 28, 28])

灰度图，通道数为1. 高度h像素、宽度w像素记为h×w

测试数据集（test dataset）

1000*10

测试数据集不会用于训练，只用于评估模型性能。

10 多层感知机 + 代码实现 

隐藏层 和 多层感知机（multilayer perceptron）(MLP)

多层感知机（multilayer perceptron）在输出层和输入层之间增加一个或多个全连接隐藏层，并通过激活函数转换隐藏层的输出。

（示例为2层网络）

（全连接层）

激活函数

常用的激活函数包括ReLU函数、sigmoid函数和tanh函数。非线性变换。

ReLU函数

修正线性单元（Rectified linear unit，ReLU）仅保留正元素并丢弃所有负元素

定义：

函数的曲线图：

sigmoid函数

sigmoid通常称为挤压函数（squashing function）

sigmoid函数将范围（-inf, inf）中的输入变换为区间(0, 1)上的输出

定义：

tanh函数

tanh(双曲正切)函数能将其输入压缩转换到区间(-1, 1)上

公式：

 

11 模型选择 + 过拟合和欠拟合

模型选择

训练误差 和 泛化误差

训练误差（training error）：模型在训练数据上的误差

泛化误差（generalization error）：模型在新数据上的误差

验证数据集和测试数据集

训练数据集 train

验证数据集（validation dataset）， 也叫验证集（validation set）

测试数据集 test

K折交叉验证

欠拟合和过拟合

模型容量

VC维

数据的复杂度

    多个重要因素：

    ·样本个数

    ·每个样本的元素个数

    ·时间、空间结构

    ·多样性

总结

·模型容量需要匹配数据复杂度，否则可能导致欠拟合和过拟合

·统计机器学习提供数学工具来衡量模型复杂度

·实际中一般靠观察训练误差和验证误差