动手学深度学习打卡

一、线性回归
1.步骤：导入数据集，初始化模型参数，定义模型，定义损失函数，定义优化函数，训练。
2.矢量相加优于按元素逐一做标量加法。
二、softmax与分类模型
1.Softmax回归同线性回归一样，也是一个单层神经网络。
2.交叉熵损失函数，只关心对正确类别的预测概率，因为只要其值足够大，就可以确保分类结果正确。
3.Fashion-MNIST，多类图像分类数据集
三、多层感知机
1.神经网络引入了隐藏层，却依然等价于一个单层神经网络。
2.上述问题的根源在于全连接层只是对数据做仿射变换（affine transformation），而多个仿射变换的叠加仍然是一个仿射变换。引入非线性变换，例如对隐藏变量使用按元素运算的非线性函数进行变换，然后再作为下一个全连接层的输入。这个非线性函数被称为激活函数（activation function）。
3.ReLU（rectified linear unit）函数，sigmoid函数，tanh（双曲正切）函数。
4.激活函数选择：ReLu函数是一个通用的激活函数，目前在大多数情况下使用。但是，ReLU函数只能在隐藏层中使用；用于分类器时，sigmoid函数及其组合通常效果更好。由于梯度消失问题，有时要避免使用sigmoid和tanh函数；在神经网络层数较多的时候，最好使用ReLu函数，ReLu函数比较简单计算量少，而sigmoid和tanh函数计算量大很多。