1、局部加权线性回归:
就是给样本集X中样本点x一个权重系数,常用的就是高斯核函数。
2、对于特征比样本点还多的情况怎么处理:
通过缩减系数来“理解”数据:
a)岭回归缩减法;
另:岭回归中的岭是什么:
b)lasso缩减法;
c)前向逐步回归缩减法。
另:逐步线性回归算的实际好处(优点):
它可以帮助人们理解现有的模型并作出改进,当构建了一个模型后,可以运行该算法找出重要的特征,这样就有可能及时停止对那些不重要特征的收集;如果用于测试,该算法每100次迭代后就可以构建出一个模型,可以使用类似于10折交叉验证的方法比较这些模型,最终选择使误差最小的模型。
3、当应用缩减方法(如逐步线性回归或岭回归)时,模型也就增加了偏差(bias),与此同时却减小了模型的方差。
4、方差与偏差:
方差指的是模型之间的差异,而偏差指的是模型预测值和数据之间的差异。