(本文系原创,如需转载请注明出处)
筛选数据特征不知道该用什么算法?让我们来对几个常见的经典算法做比较,给大家加深一点辩证的理解吧。
从应用的角度来说,数据特征如果明显线性不可分,核映射到高维空间,在高维空间可以转化成线性可分,有利于进行下一步工作,这是核映射的基本功能,这样的情况下是否倾向于选择核映射算法?以下是一些简单的推导和探讨。
1.核岭回归的基本原理、数学步骤、相似回归算法比较
1.1普通最小二乘法与岭回归
1. 最小二乘回归模型中,假设输入变量为,输出变量为,假设偏置项已包含在参数中,则线性回归的模型可表示为:
那么在最小二乘方法中,回归参数的估计公式为
但是当不可逆时,则无法求出参数,同时如果趋近于0,会使回归系数趋于无穷大,此时得到的回归系数是没有意义的。而岭回归可以解决此类问题。最小二乘回归模型中的目标函数为:
为了解决上述问题,岭回归模型在目标函数上加上L2范数的惩罚项,即:
其中为非负数,进一步式(4)可化为: