学习周记2024.9.13~9.20

学习内容：

1. 吴恩达的《深度学习》
2. 李牧的《动手学深度学习》

---

学习时间：

• 2024.9.13~~2024.9.20

---

学习笔记：

07 自动求导

图1.计算图原理  

图2.自动求导的两种模式  

图3.对函数y=x^Tx关于列向量x求导  

图4.需要通过Python控制流时求导  

08 线性回归

图5.线性回归图像  

训练数据
收集过去几个月卖房的数据点来决定参数值（权重w和偏差b），训练数据通常越多越好。
假设我们有n个训练样本，记作X=[$x_1$，$x_2$，…，$x_n$]^T   Y=[$y_1$，$y_2$，…，$y_n$]^T

参数学习

显示解
w^*=(X^TX)^-1X^Ty

线性回归例子：
构造一个人造数据集，使用线性模型参数w=[2,-3.4]^T,b=4.2和噪声项c生成数据集及标签。

定义一个data_iter函数，该函数接收批量大小、特征矩阵和标签向量作为输入，生成大小为batch_size的小批量。并进行一系列操作和训练来通过梯度下降获取最优的w和b，最后输出训练的结果y的loss和参数w、b的loss。

输出结果：

线性回归的简洁实现
通过使用深度学习框架来简洁地实现线性回归模型，生成数据集。

运行结果：

08 Softmax回归

1、Softmax回归是一个多类分类模型。
2、使用Softmax操作值可以得到每个类的预测置信度（是一个概率，非负），加起来和为1。
3、使用交叉熵来衡量预测和标号的区别。
分类和回归的区别
回归： 估计一个连续值，输出是一个自然区间，将跟真实值的区别作为损失。
分类： 预测一个离散类别，通常有多个输出，输出的个数=类别的个数，输出的第i个元素是为了预测第i类的置信度。
从回归过渡到分类的方法：

损失函数
用来衡量预测值和真实值之间的区别。

1、均方损失（L2 Loss）

2、绝对值损失函数（L1 Loss)

3、Huber’s Robust Loss