动手学深度学习（一）

一、线性回归
1、基本要素：模型、数据集、损失函数、优化函数
2、矢量计算更好
3、num_inputs是特征数
x是几个特征几个数据
w是1几个特征
y是1*几个数据
二、Softmax与分类模型
1、softmax运算符（softmax operator）将输出值变换成值为正且和为1的概率分布
2、分类问题可以用交叉熵损失函数，交叉熵函数实际上只关心正确类别的预测概率
3、torchvision.datasets一些加载数据的函数及常用的数据集接口
torchvision.models: 包含常用的模型结构
torchvision.transforms: 常用的图片变换，例如裁剪、旋转等
torchvision.utils: 其他的一些有用的方法
四个输入特征，三个输出类别，权重12个标量？偏差3个标量
gather是从tensor中取数据
三、多层感知机
1、多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络，且每个隐藏层的输出通过激活函数进行变换。
2、隐藏层也是线性层，含隐藏层的神经网络可等价于单层神经网络所以需要把隐藏层做一个非线性变换，得到的结果再输入下一层
四、过拟合、欠拟合及解决方案
1、训练误差指模型在训练数据集上表现出的误差
泛化误差指模型在任意一个测试数据样本上表现出的误差的期望
机器学习模型应关注降低泛化误差。
2、欠拟合现象：模型无法达到一个较低的误差
过拟合现象：训练误差较低但是泛化误差高，两者相差很大
权重衰减法和丢弃法
3、测试数据集不可以用来调整模型参数，如果使用测试数据集调整模型参数，可能在测试数据集上发生一定程度的过拟合，此时将不能用测试误差来近似泛化误差。
五、梯度消失和梯度爆炸
1、当神经网络的层数较多时，模型的数值稳定性变差
2、协变量漂移、标签漂移、概念漂移