要点
线性模型应用很广泛,但在某些场合也有不足。本章举了三个优化的例子。
第一,要求输出是在一个限定范围的可能值中是有原因的。例如,如果要预测一个概率,那么输出就需要介于0和1之间。把一个线性组合用logistc函数来压缩是一个方法。当训练事件的对数似然最大化时,就获得了广泛使用的logistic回归。
第二,有些时候线性模型需要局部化,给予距输入的带估样本点近的输入点更高的权重。这是局部加权回归的例子。
最后,将针对大权值的罚项加入函数再优化与计算权值平方和(计算导数后得到的线性方程)是有差别的。作为例子,将绝对值的和作为罚项对降低权值和使得输入更加稀疏是有帮助的。LASSO降低了权值中非零值的个数,也就减少了输入中影响输出值的个数。这是LASSO方法用来缩减选取输入的例子。
在读这一章之前,lasso对于你来说是一个用来拴马和牛的长长的套绳,现在,你也可以用它来套住更多的有用模型了。