1. 线性神经网络

1. 线性回归

1.1 基本元素

1.1.1 模型

$$\hat{y}={\mathbf{w}}^{\top }\mathbf{x}+b$$

1.1.2 损失函数

$$L\left(\mathbf{W},b\right)=\frac{1}{n}\sum _{i=1}^n{l}^{(i)}\left(\mathbf{w},b\right)$$
其中
$$l^{(i)}\left(\mathbf{w},b\right)=\frac{1}{2}{\left({\hat{y}}^{(i)}-y^{(i)}\right)}^2$$

1.1.3 解析解

线性回归模型是存在解析解的，即，用一个公式直接将解表达出来，但并不是所有模型都有解析解
$${\mathbf{w}}^{\ast }={\left({\mathbf{X}}^{\top }\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\top }\mathbf{y}$$

1.1.4 小批量梯度下降

这是一种用于在无法求得解析解的情况下，有效训练模型的方法

1. 初始化模型参数的值，如随机初始化
2. 从数据集中随机抽取小批量样本 $\mathcal{B}$
   • 在负梯度的⽅向上更新参数，具体更新如下
   • 其中 $\eta$ 是一个预先确定的正数
     $$\left(\mathbf{w},b\right)\leftarrow \left(\mathbf{w},b\right)-\frac{\eta }{\left|\mathcal{B}\right|}\sum _{i\in \mathcal{B}}{\partial }_{\left(\mathbf{w},b\right)}{l}^{(i)}\left(\mathbf{w},b\right)$$
3. 不断重复第 2 步

1.2 矢量化加速

在 Python 中不要自己写 for 循环，要写矢量化的代码，这通常会带来数量级的加速

1.3 正态分布与平方损失

1. 正态分布
   p ( x ) = 1 2 π σ 2 exp ⁡ ( − 1 2 σ 2 ( x −