核岭回归
回归分析方法是利用数理统计方法分析数据，建立自变量和因变量间的回归模型，用于预测因变量变化的分析方法，其中比较经典的是 Hoerl和Kennard 提出的岭回归算法。岭回归算法是在最小二乘法的基础上引入了正则项，使回归模型具有较好泛化能力和稳定性，但是岭回归算法并不能处理自变量间非线性相关的情况。KRR 算法是在岭回归算法基础上引入了核方法，通过核函数将自变量空间映射到高维特征空间，然后用岭回归方法在高维特征空间中分析和处理数据[1]。
也就是说，核岭回归是回归算法的一种，其本质就是使用岭回归来做预测。岭回归是做线性回归的，其拟合出来的是一条直线，在面对非线性情况时，可以通过增加一个核函数，将自变量空间映射到高维特征空间。在高维特征空间里做线性回归就可以了。
设： y = f ( x ) y=f(x) y=f(x)
式中，矩阵 x 为多维输入辅助变量，y 为因变量；同时 y 也可写成函数和的形式。
f ( x ) = ∑ i = 1 n ω n ϕ n ( x ) f(x)=\sum\limits_{i=1}^{n}{
{
{\omega }_{n}}{
{\phi }_{n}}(x)} f(x)=i=1∑nωnϕn(x)
式中， ϕ n ( x ) {
{\phi }_{n}}(x) ϕn(x)表示数据函数， ω n {\omega }_{n} ωn表示相应回归分析的权值。上式又可写成
f ( x ) = ∑ i α i K ( x i , x ) f(x)=\sum\limits_{i}{
{
{\alpha }_{i}}K({
{x}_{i}},x)} f
最低0.47元/天 解锁文章
388
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
