博主在复习机器学习时对回归算法有了新的理解，特别是线性回归、岭回归、LASSO回归和ElasticNet回归之间的区别在于惩罚项的不同。线性回归目标函数是最小化误差平方和，而岭回归、LASSO回归和ElasticNet回归分别引入了不同的正则化项。此外，重点讨论了梯度下降的概念，将梯度理解为向量求导，并介绍了批量梯度下降、随机梯度下降和mini-batch梯度下降的区别在于每次更新所依赖的样本数量。
最近在准备秋招，被狠狠的打击了，思来想去觉得还是自己差劲，所以又抱起书本和教程，重新学一遍机器学习的相关知识，发现果然是温故而知新，，，以前一些很模糊的概念，现在看起来容易理解多了，于是就写下来，方便以后自己学习。。。
第一点：当时学回归的时候，被各种线性回归弄混淆死了，又是线性回归又是岭回归，然后一翻身，又出来个LASSO回归，等等，这边怎么又冒出个ElasticNet回归。。。现在看看，其实这些回归大同小异，主要区别就是在于惩罚项的不同。譬如，线性回归目标函数仅仅是各项的误差平方之和；而岭回归多了个2范数正则化作为其惩罚项，加在后面；而LASSO回归则是多个1--范数正则化作为其惩罚项加在后面；至于ElasticNet则是岭回归和LASSO回归的“中和物”，将1范数和2范数一起放在后面作为其惩罚项。。。
线性回归目标函数：
岭回归目标函数：
LASSO回归目标函数：
最低0.47元/天 解锁文章
扫一扫
5551
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
