![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
2018魔方
做好每一件能做好的事
展开
-
学习笔记--机器学习之牛顿法和拟牛顿法
牛顿法和拟牛顿法都是解决无约束问题最优化的方法,也是比较常见的方法之一。我们知道随机梯度下降,采用目标函数一阶导更新参数,但存在的问题很多,比如收敛速度慢、收敛到局部最优而不是全局最优或者无法收敛等问题。而本文提到的牛顿法不仅考虑了一阶导,还考虑目标函数二阶导来解决优化问题,收敛速度快,适用于小样本特征数据,因为在迭代每次时,需要求海塞矩阵的逆,当数据特征维度比较高时,需要的存储空间和计算成本都很...原创 2020-03-26 15:45:45 · 413 阅读 · 0 评论 -
学习笔记--机器学习之提升方法(AdaBoost)
提升方法是一个线性组合多个不同的弱分类器使其成为强分类器的方法(结合多个分类器的优势),训练过程主要通过不断加大误分类样本权重,减小正确样本数据权重(改变训练数据概率分布)来达到最终的分类器。其中最为典型的是AdaBoost算法。补充概念:强学习:通过一个多项式学习(分类器)就可以达到比较高的正确率 弱学习:通过一个多项式学习(分类器)仅能达到随机猜测相近的正确率AdaBoost需解决...原创 2020-03-24 11:09:21 · 274 阅读 · 0 评论