转自:https://www.zhihu.com/question/310448033/answer/596576732
作者:刘一刀
链接:https://www.zhihu.com/question/310448033/answer/596576732
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
机器学习里只不过是换了名字,l1正则化和l2正则化实际上就是套索回归和岭回归,实际上就是为了解决异方差等问题。
共线性的话要具体看,比如我的模型只是为了预测,那么可以一定程度上不用考虑共线性,只要避免模型过拟合就好了,因为理论上讲每增加一个feature,我的模型的预测能力就可以更强,所以你在做预测的时候只用专心调参让预测结果更好,泛化能力更强就好了,但是反过来,你在调参的过程中,是在一定程度上做了避免共线性的处理的,比如最大树深了,最大样本量了,最大特征数了等等,但是没有统计学中做的彻底,对于统计学,特别经济等相关领域,做模型主要是为了解释问题,这时候就要特别考虑共线性了,因为共线性会导致原来x和y是正相关,结果出来结果x的系数是负的,这个就尴尬了,所以要严格处理。
综合来讲,对于机器学习模型,如神经网络、SVM等模型等,你在调参的过程是一定程度上是考虑了的,同时你做模型不是为了解释性,所以有一定程度的共线性等也是没有问题的,只要最后的模型准确度高,泛化能力强就行了。
但是如果你的模型是为了解释什么问题,重点关注的是模型本身的系数,那么这些问题都要特别考虑。当然这时候是不适合做机器学习模型的,stata,eviews,spss等软件有想应的工具包解决这些问题。