![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习原理
weixin_41838371
这个作者很懒,什么都没留下…
展开
-
梯度下降与牛顿、拟牛顿
拟牛顿法的本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷,它使用正定矩阵来近似Hessian矩阵的逆,从而简化了运算的复杂度。转载 2019-07-04 22:45:55 · 143 阅读 · 0 评论 -
L1与L2正则
L1—— 假设的是模型的参数取值满足拉普拉斯分布,L2 ——假设的模型参数是满足高斯分布,所谓的范式其实就是加上对参数的约束,使得模型不会overfit。Obj(F)=L(F)+γ⋅∥w⃗∥1Obj(F)=L(F)+γ⋅∥w⃗ ∥_1Obj(F)=L(F)+γ⋅∥w⃗∥1L(F)=∑i=1N(yi−w⋅xi)2L(F)=\sum_{i=1}^{N}(y_i-w·x_i)^2L(F)=i...转载 2019-06-13 21:40:44 · 119 阅读 · 0 评论 -
Blending 和 Stacking 对比
Blending 和 Stacking 对比stacking二、如何构造stacking模型BlendingStacking和blending的区别在于数据的划分,blending用不相交的数据训练不同的基模型,并将其输出取加权平均。而stacking是将数据集划分为两个不相交的集合,在第一个集合的数据集中训练多个模型,在第二个数据集中测试这些模型,将预测结果作为输入,将正确的标签作为输出,再训...转载 2019-05-28 14:30:59 · 1469 阅读 · 0 评论 -
比较GBDT与Xgboost、boosting与bagging
GBDT与Xgboost的区别GBDT与Xgboost的区别Bagging和Boosting 异同GBDT与Xgboost的区别gbdt(又称Gradient Boosted Decision Tree/Grdient Boosted Regression Tree),是一种迭代的决策树算法,该算法由多个决策树组成。它最早见于yahoo,后被广泛应用在搜索排序、点击率预估上。xgboost是...转载 2019-05-28 11:51:50 · 2156 阅读 · 2 评论 -
EM算法详解
EM算法详解1 摘要2 EM算法简介3 预备知识3.1 极大似然估计3.2 Jenson不等式4 EM详解4.1 问题描述4.2 EM算法推导流程4.3 EM算法流程5. EM算法的收敛性思考5.1 对EM算法的初始化研究5.2 EM算法能保证收敛吗?5.3 EM算法能保证收敛到全局最大值吗?6. EM算法的一些思考7. EM算法在非监督学习中的应用1 摘要EM算法是最常见的隐变量估计方法,常...原创 2019-05-09 16:07:42 · 907 阅读 · 0 评论