机器学习-线性模型#Datawhale X 李宏毅苹果书 AI夏令营

一，线性模型

模型：

特点：输入特征乘以一个权重再加上一个偏执得到预测结果y。

二，分段线性模型

当要模拟或预测某些变化时，往往变化不是呈现直线这样简单的，需要更复杂的函数。

利用一堆Hard Sigmoid函数(变化趋势是：先水平，后斜坡，再水平)加上常数项得到变化复杂化的曲线（比如如下折线）。

Hard Sigmoid函数加上常数项的加的规则是“分段”的：如下图，蓝色曲线0表示常数项，红色曲线左侧=蓝色曲线0+1，红色曲线中间=蓝色曲线0+1+2，红色曲线右侧=蓝色曲线0+1+2+3。可以发现，当在红色曲线中间时，红色曲线的斜率是与曲线2有关的（变化趋势），其他曲线只会对其的影响只会上下平移（整体值发生相同变化），也就是只有红色曲线的变化趋势只有曲线2有关。

不好直接写出Hard Sigmoid函数，一般用Sigmoid函数来代替Hard Sigmoid函数。

Sigmoid函数表达式：

调整b、w、c可以得到不同形状的Sigmoid函数。

经过以上推导，线性模型是不能表示复杂关系的图像的（非线性），如果说要修改线性模型格式使得能够表示复杂关系，只需要将变量乘以权重和加上偏执后变化成一个Sigmoid函数即可，图如下。

除了将Hard Sigmoid函数看作Soft Sigmoid函数，还可以看作俩个修正线性单元（ReLU）的加总。

ReLU函数（变化趋势：向水平，后一个斜坡）：

一些概念：

激活函数：在机器学习中，Sigmoid和ReLU函数称为激活函数（activation function）。

批量（batch）：有n个数据，b个数据一组，一组数据就称为一个批量。

回合（epoch）：把所有数据都进行一次计算梯度更新参数，称为一个回合。

样本（example)：一个数据。

神经元（neurom）：Sigmoid和ReLU。

神经网络（neural network）：很多神经元组成的结构。

隐藏层（hidden layer）：一排神经元。

三，机器学习框架