动手学深度学习---笔记1

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

提示：本文要记录的大概内容：

动手学深度学习v2 ------ 沐神

---

提示：以下是本篇文章正文内容

一、深度学习的介绍

1.AI地图

2.常用

1.图片分类

2.物体检测与分割

3.样式迁移

4.人脸合成

5.文字生成图片

6.文字生成

7.无人驾驶

3.完整行为

二、数据操作

1.数据预处理

1.样例

2.访问元素

3.运算

0 表示y方向的拼接，1表示x方向的拼接

4.广播机制

tensor-----计算机
array-------数学

2.线性代数

1.向量简单公式

2.线性代数

1.标量由只有一个元素的张量表示。
2.向量可以被视为标量值组成的列表。
3.向量是标量的推广，矩阵是向量的推广一样，我们可以构建具有更多轴的数据结构。
4.张量是描述具有任意数量轴的 𝑛维数组的通用方法。 例如，向量是一阶张量，矩阵是二阶张量。
5.调用求和函数会沿所有的轴降低张量的维度，使它变为一个标量。沿着轴压缩。
6.在调用函数来[计算总和或均值时保持轴数不变]
7.标量的shape为空。

3.矩阵计算

1.向量也就是梯度

1.y标量 x向量

2.样例

3. y向量 x标量

4.向量/向量是矩阵

5.样例

6.拓展

4.自动求导

1.链式法则

1.內积是一个标量，这相当于标量对向量求导。

2.

2.计算图

3.两种模式

提示：高数是反向。

4

5.线性回归

1.房价预测

1.模型

2.网络

3.损失

4.训练

4.1

4.2
4.3

4.4

4.5

2.优化算法

1.梯度下降

模型没有显示解的时候怎么办！负梯度，下降最快的地方。学习率不能太小也不能太大。

2.小批量随机梯度下降

3.总结

3.softmax回归

1.回归与分类

1.区别

2.分类表示

3.总结

2.损失函数

1.L2 Loss

均方损失

2.L1 Loss

绝对值损失函数

3.鲁棒损失

3.图片分类数据集

1.定义模型

定义softmax操作后，我们可以[实现softmax回归模型]。 下面的代码定义了输入如何通过网络映射到输出。 注意，将数据传递到模型之前，我们使用reshape函数将每张原始图像展平为向量。

def net(X):
    return softmax(torch.matmul(X.reshape((-1, W.shape[0])), W) + b) #-1,代表这个维度的大小由numpy去计算。只需要我们固定一个维度即可，这里就是700多的W

2.小结

1.借助softmax回归，我们可以训练多分类的模型。
2.训练softmax回归循环模型与训练线性回归模型非常相似：先读取数据，再定义模型和损失函数，然后使用优化算法训练模型。大多数常见的深度学习模型都有类似的训练过程。
3.softmax是最简单的分类模型。