Datawhale X 李宏毅苹果书 AI夏令营 第五期——深度学习（入门班）Task.02 笔记分享

Task.02 《深度学习详解》- 1.2 了解线性模型(15页+60分钟视频)

Part01.视频笔记

线性模型（Linear Model）也许过于简单，需要更加复杂的模型

Model bias：由线性模型自身导致的限制（无法模拟真实情况）
——需要一个更加复杂、更有弹性的模型

从分段线性曲线到连续曲线

所有的Piecewise Linear Curves（分段线性曲线）都可以由常数加上一系列折线函数之和；

折线函数_——Hard Sigmoid函数：

当我们分段取足够多时，我们可以用分段曲线来近似描述连续曲线；
（分段越多，近似的效果越好）

折线函数的表达式：

利用Sigmoid函数来逼近折线：$$y=c\frac{1}{1+e^{-(b+w{x}_1)}}=c\ast sigmoid(b+w{x}_1)$$

改变参数	图像变化
$w$	改变斜率（slope）
$b$	左右移动
$c$	改变高度

故$$y=b+\sum _i{c}_i\sigma (b_i+w_i{x}_1)$$
是上图中红色曲线的表达式；

结合课程实例（当日数据受前j天数据影响）的模型：（$w_{ij}$：weight for $x_j$ for i-th sigmoid)
$$y=b+\sum _i{c}_i\sigma (b_i+\sum _j{w}_{ij}{x}_i)$$

本质上是矩阵间乘法运算：
$$\left[\begin{array}{c}{r}_1\\ r_2\\ r_3\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\\ b_3\end{array}\right]+\left[\begin{array}{ccc}{w}_{11}& w_{12}& w_{13}\\ w_{21}& w_{22}& w_{23}\\ w_{31}& w_{32}& w_{33}\end{array}\right]+\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$$
然后通过Sigmoid函数：$$a_1=\sigma (r_1)=\frac{1}{1+e^{-r_1}}$$
运算流程图示：

于是我们得到了一个含有未知参数的函数式（机器学习Step1）

定义损失函数：$L(\overrightarrow{\theta })$

即使换了一个新的模型，损失函数的计算和更新没有变化：
新梯度计算（向量）$g=\nabla L({\theta }^0)$；更新：${\theta }^1\leftarrow {\theta }^0-\eta g$

• epoch：遍历完所有的训练数据；update：更新一次参数（往往是训练一个批量的数据更新一次）

从Sigmoid函数到ReLU函数：

Rectified Linear Unit函数（ReLU）：$y=c\times max(0,b+w{x}_1)$
Hard Sigmoid函数相当于两个ReLU函数的相加——模型变化：$$y=b+\sum _{2i}{c}_{i}max(0,b_i+\sum _j{w}_{ij}{x}_j)$$
Activation function（激活函数）：Sigmoid函数和ReLU函数

ReLU函数的模型表现：

	Linear	10 ReLU	100 ReLU	1000 ReLU
2017-2020	0.32k	0.32k	0.28k	0.27k
2021	0.46k	0.45k	0.43k	0.43k

改进模型（将数据进行多层次（Layer）运算）：

（每层100ReLU函数，数据与前56天的数据相关）

	1 Layer	2 Layer	3 Layer	4 Layer
2017-2020	0.28k	0.18k	0.14k	0.10k
2021	0.43k	0.39k	0.38k	0.44k

神经元（Neuron）和神经网络（Neural Network）：

Neuron——hidden Layer（隐藏层）；Deep：许多隐藏层（Deep Learning）
Overfitting（过拟合）：在训练集上表现优秀，但在测试集上表现不佳——模型选择；