机器学习之线性模型的训练trick

1.正则化   正则化可以使模型有偏好，如在损失函数Loss=loss(y_pre,y)上加入alpha倍的|W|，可以使用优化目标变为Loss=loss(y_pre,y)+alpha*|W|,这样得到的参数偏向于较小。

2.非线性的值处理：如果预测目标值变化尺度是指数的，如预测目标值较小的样本集中，而预测目标值较大的值较分散，可以将预测目标值进行变换，使y_new=lg(y), 或者对预测值进行变换y_pre_new=lg(y_pre)。这样的方法通常称为广义线性模型

3.对于2中的方法，在属性特征处理中依然适用。即令x_new=lg(x)

4.从预测走向分类：通过联系函数（单调可微函数）将预测结果转化为可分类的形式即可，如通过阶跃函数、sigmoid函数(也叫对数几率函数，其他激活函数如relu一般不用于分类，但理论上可以)、或其他可以转化多分类的函数。