fisher线性判别算法python_数据特征筛选——核岭回归及相关算法对比

(本文系原创，如需转载请注明出处)

筛选数据特征不知道该用什么算法？让我们来对几个常见的经典算法做比较，给大家加深一点辩证的理解吧。

从应用的角度来说，数据特征如果明显线性不可分，核映射到高维空间，在高维空间可以转化成线性可分，有利于进行下一步工作，这是核映射的基本功能，这样的情况下是否倾向于选择核映射算法？以下是一些简单的推导和探讨。

1.核岭回归的基本原理、数学步骤、相似回归算法比较

1.1普通最小二乘法与岭回归

1. 1.     最小二乘回归模型中，假设输入变量为，输出变量为，假设偏置项已包含在参数中，则线性回归的模型可表示为：                              

    那么在最小二乘方法中，回归参数的估计公式为

但是当不可逆时，则无法求出参数，同时如果趋近于0，会使回归系数趋于无穷大，此时得到的回归系数是没有意义的。而岭回归可以解决此类问题。最小二乘回归模型中的目标函数为:

为了解决上述问题，岭回归模型在目标函数上加上L2范数的惩罚项，即：

其中为非负数，进一步式(4)可化为：