机器学习
文章平均质量分 91
小本拉
这个作者很懒,什么都没留下…
展开
-
次梯度(坐标法)、迭代加权最小二乘、ADMM求解Lasso
Lasso的特性及简介: 在最小二乘中,常把岭回归与Lasso来进行比较,它们都能对数据防止过拟合,这是为什么呢? 当特征之间存在高度相关关系的时候,假设有两个特征高度负相关,那么不带正则化的回归问题可能会赋予二者近似相等的很大权重,这样加权起来的结果仍然较小,但是由于权重很大,就导致了过拟合问题。Ridge Regression会倾向于在相关特征之间均匀分布权重,Lasso则倾向...原创 2020-01-14 17:15:37 · 4156 阅读 · 2 评论 -
线性模型(逻辑回归(二分类、多分类)、岭回归、lasso)
线性模型是一个通过在属性上的线性组合来进行预测的函数。优点:许多非线性模型可通过在线性模型的基础上引入层级结构或高维映射得到模型参数直观表达了属性对于结果的重要性,线性模型具有很好的解释性缺点:模型较简单,准确度有时较低。普通线性模型:y^=w1x1+w2x2+...+wnxn+b=wTx+by\hat{}=w_{1}x_{1}+w_{2}x_{2}+...+w_{n}x_{n}+...原创 2019-08-07 14:18:34 · 5428 阅读 · 0 评论 -
最小二乘、加权最小二乘(WLS)、迭代加权最小二乘(迭代重加全最小二乘)(IRLS)
最小二乘、加权最小二乘、迭代加权最小二乘(迭代重加全最小二乘)最小二乘:最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。...原创 2019-12-16 21:53:33 · 25028 阅读 · 11 评论