Datawhale X 李宏毅苹果书 AI夏令营 线性函数

一、线性模型：

这些模型都是把输入的特征 x 乘上一个权重，再加上一个偏置就得到预测的结果，这样的模型称为线性模型（linear model）。

基于线性函数局限性，无法表述复杂的y-x关系，则引入分段线性函数。

二、分段线性函数：

将函数拆分为一个常数再加上一群 Hard Sigmoid 函数。

Hard Sigmoid 函数的特性是当输入的值，当 x 轴的值小于某一个阈值（某个定值）的时候，大于另外一个定值阈值的时候，中间有一个斜坡。

图形：先水平的，再斜坡，再水平的。

HardSigmoid 不是很容易，但是可以用一条曲线来理解它，用 Sigmoid 函数来逼近 Hard Sigmoid

三、Sigmoid 函数

简写为：

四、参数c、b、w变化对函数的影响，是灵活的函数

五、线性代数（矩阵）的方式表示，列向量

长向量用西塔表示

六、损失函数

求微分，计算梯度。

（更新次数取决于批量）

七、RELU

HardSigmoid 可以看作是两个修正线性单元

八、神经网络

过拟合