chap1.2 线性模型知识点总结
1.线性模型
1.1线性模型的基本概念
线性模型是机器学习中最经典,也是最简单的一类模型。
线性模型的表达式形如:
其中xj为输入特征,y是模型预测值;w和b是模型参数;
不同的参数w和b,代表线性模型具有不同的形态。w代表线性模型的斜率,b代表线性模型的截距。
1.2 分段线性曲线
在实际应用中线性模型还是太简单了,有很多的限制,不足以表达复杂的关系。我们可能怎么设置参数都没办法模拟出真实的曲线,这种情况被称为叫模型偏差(Model Bias)。因此我们需要更灵活的模型,以应对模型偏差。
1.2.1 分段线性曲线的近似表达
红色线 [即分段线性曲线(piecewise linear curve)] 可以看作一个常数和一些蓝色函数的叠加。分段线性曲线越复杂,转折的点越多,所需的蓝色函数就越多。
下图中红色线 = 0+1+2+3 蓝色hard sigmoid函数叠加。
1.2.2 分段线性曲线近似表达任意连续曲线
如果我们要处理的是一条任意连续的曲线,该怎么办呢?
答案是,分段线性曲线近似表达任意曲线。我们可以在这样的曲线上先取一些点,再把这些点连起来,变成一条分段线性曲线。而这条分段线性曲线跟原来的曲线非常接近,如果点取得够多或位置适当,分段线性曲线就可以逼近连续曲线,甚至可以逼近有角度和弧度的连续曲线。我们可以用分段线性曲线来逼近任何连续曲线,只要有足够的蓝色函数(hard sigmoid函数)。
任意连续曲线可以用分段线性曲线近似表达。它的原理和微积分的思想非常类似,是一种“化曲为直”的数学思想。