机器学习与智能优化 之 几个特殊非线性模型

要点

线性模型应用很广泛，但在某些场合也有不足。本章举了三个优化的例子。

第一，要求输出是在一个限定范围的可能值中是有原因的。例如，如果要预测一个概率，那么输出就需要介于0和1之间。把一个线性组合用logistc函数来压缩是一个方法。当训练事件的对数似然最大化时，就获得了广泛使用的logistic回归。

第二，有些时候线性模型需要局部化，给予距输入的带估样本点近的输入点更高的权重。这是局部加权回归的例子。

最后，将针对大权值的罚项加入函数再优化与计算权值平方和（计算导数后得到的线性方程）是有差别的。作为例子，将绝对值的和作为罚项对降低权值和使得输入更加稀疏是有帮助的。LASSO降低了权值中非零值的个数，也就减少了输入中影响输出值的个数。这是LASSO方法用来缩减选取输入的例子。

在读这一章之前，lasso对于你来说是一个用来拴马和牛的长长的套绳，现在，你也可以用它来套住更多的有用模型了。