转：机器学习是否需要考虑共线性、异方差等问题？

转自：https://www.zhihu.com/question/310448033/answer/596576732

作者：刘一刀
链接：https://www.zhihu.com/question/310448033/answer/596576732
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
 

机器学习里只不过是换了名字，l1正则化和l2正则化实际上就是套索回归和岭回归，实际上就是为了解决异方差等问题。

共线性的话要具体看，比如我的模型只是为了预测，那么可以一定程度上不用考虑共线性，只要避免模型过拟合就好了，因为理论上讲每增加一个feature，我的模型的预测能力就可以更强，所以你在做预测的时候只用专心调参让预测结果更好，泛化能力更强就好了，但是反过来，你在调参的过程中，是在一定程度上做了避免共线性的处理的，比如最大树深了，最大样本量了，最大特征数了等等，但是没有统计学中做的彻底，对于统计学，特别经济等相关领域，做模型主要是为了解释问题，这时候就要特别考虑共线性了，因为共线性会导致原来x和y是正相关，结果出来结果x的系数是负的，这个就尴尬了，所以要严格处理。

综合来讲，对于机器学习模型，如神经网络、SVM等模型等，你在调参的过程是一定程度上是考虑了的，同时你做模型不是为了解释性，所以有一定程度的共线性等也是没有问题的，只要最后的模型准确度高，泛化能力强就行了。

但是如果你的模型是为了解释什么问题，重点关注的是模型本身的系数，那么这些问题都要特别考虑。当然这时候是不适合做机器学习模型的，stata，eviews，spss等软件有想应的工具包解决这些问题。