机器学习
文章平均质量分 58
yMMxz
这个作者很懒,什么都没留下…
展开
-
L1和L2正则化部分比较
L1和L2正则化:比方说,有几个特征的共线性很高,并且它们对于分类都很重要,这时L1的做法是随机选择其中一个特征,而扔掉其它的特征。试想,如果训练数据中有很多这样类似的特征,那么经过L1正则化后的模型将会失去很多有用的特征,进而导致模型误差较大。这个时候,我们不得不选择L2正则化了,但由于L2正则化在面对大量无关特征并且特征不是由高斯分布产生时,误差依然很大,因此我们需要在训练模型之前,先进行转载 2017-03-31 14:43:25 · 1099 阅读 · 0 评论 -
GBDT RF,rf 调参
转载于:https://www.zhihu.com/question/34470160?sort=createdGBDT和RF调参:为了使得整体性能提高,减少误差,误差包括方差 和 偏差,所以目的使得 偏差和方差协调,性能提升。GBDT和Rf好多参数类似,主要专注于(1)损失函数(分类:指数损失函数,对数损失函数;回归,平方误差等);(2)调整过程类影响参数(比如树的个数,转载 2017-03-31 14:37:47 · 2475 阅读 · 0 评论 -
线性回归和逻辑回归的损失函数
(1)线性回归的误差函数为什么是平方损失函数 参考:http://blog.csdn.net/saltriver/article/details/57544704设线性回归的预测函数h(xi),实际值为yi 相应的误差为所以有:yi =h(xi) + (i = 1,2,3,..., n)通常认为误差服从参数为的正态分布,即: 我原创 2017-04-05 14:21:57 · 2674 阅读 · 0 评论 -
坐标轴下降法(解决L1正则化不可导的问题)
坐标轴下降法(解决L1正则化不可导的问题)参考:http://www.cnblogs.com/pinard/p/6018889.html 设lasso回归的损失函数为: 其中,n为样本个数,m为特征个数。 由于lasso回归的损失函数是不可导的,所以梯度下降算法将不再有效,下面利用转载 2017-04-06 16:20:26 · 9140 阅读 · 3 评论 -
互联网广告综述之点击率特征工程
http://blog.csdn.net/bitcarmanlee/article/details/50963879互联网广告综述之点击率特征工程一.互联网广告特征工程博文《互联网广告综述之点击率系统》论述了互联网广告的点击率系统,可以看到,其中的logistic regression模型是比较简单而且实用的,其训练方法虽然有多种,但目标是一致的,训练结果对效果的影响是比较大,但是转载 2017-06-06 17:12:50 · 705 阅读 · 0 评论 -
微博推荐算法简述
http://www.wbrecom.com/?p=80转载 2017-06-06 17:17:18 · 1438 阅读 · 0 评论 -
批量梯度下降算法BGD,小批量梯度下降法MBGD,随机梯度下降算法SGD的比较
bach gd和 mini-bach gd,sgd比较:参考: https://my.oschina.net/hosee/blog/510076 https://www.zhihu.com/question/40892922?sort=created https://www.zhihu.com/question/27012077 http转载 2017-04-06 09:09:59 · 2466 阅读 · 1 评论