动手学深度学习—线性神经网络

线性回归

线性回归的基本元素

线性模型，损失函数，解析解，mini-batch

矢量化加速

少用for循环就可以了

正态分布与平方损失

在高斯噪声的假设下，最小化均⽅误差等价于对线性模型的最⼤似然估计。

从线性回归到深度网络

线性回归可以看作单层的神经网络

线性回归的从零开始实现

生成数据集

给定权重以及偏置，生成数据。

读取数据集并划分成mini-batch

真实模型需要的组成部分

1、初始化模型参数
2、定义模型
3、定义损失函数
4、定义优化算法
5、训练

权重初始化是很重要的

0初始化，随机初始化，Xavier Initialization，Kaiming Initialization