![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
老James
这个作者很懒,什么都没留下…
展开
-
SMO算法详解
SMO要解决的问题是什么?经过漫长的探索,我们建立了SVM模型,但是这个模型中还剩下一个未知参数需要求解,SMO就是求解这个参数的一种高效的方法。我们需要解决的终极问题是:maxα∑i=1nαi−12∑i=1n∑j=1nαiαjyiyj⟨xiTxj⟩\max \limits_{α}∑^n_{i=1}α_i−\dfrac{1}{2}∑^n_{i=1}∑^n_{j=1}α_iα_jy_iy_j...原创 2019-10-17 00:11:39 · 3337 阅读 · 6 评论 -
线性回归算法梳理
1. 机器学习的一些概念有监督学习有监督学习的任务是学习一个模型,使模型能够对任意的输入,对其相应的输出做出一个好的预测。无监督学习输入数据没有被标记,也没有确定的结果。样本数据类别未知,需要根据样本间的相似性对样本集进行分类(聚类,clustering)试图使类内差距最小化,类间差距最大化。通俗点将就是实际应用中,不少情况下无法预先知道样本的标签,也就是说没有训练样本对应的类别,因而只...原创 2019-04-01 23:28:21 · 183 阅读 · 0 评论 -
决策树算法梳理
1. 信息论基础(熵 联合熵 条件熵 信息增益 基尼不纯度)信息熵:信息熵是度量样本集合纯度常用的一种指标。联合熵:联合熵就是度量一个联合分布的随机系统的不确定度。条件熵:在得知某一确定信息的基础上获取另外一个信息时所获得的信息量。信息增益:信息增益代表使用属性a带来的纯度提升,信息增益越大,带来的纯度提升越大。计算公式就是父节点的信息熵减去所有子节点的信息熵。基尼不纯度:从一个数据集中...原创 2019-04-03 21:05:15 · 180 阅读 · 0 评论 -
随机森林算法梳理
1. 集成学习概念 集成学习,顾名思义,通过将多个单个学习器集成/组合在一起,使它们共同完成学习任务,有时也被称为“多分类器系统(multi-classifier system)”、基于委员会的学习(Committee-based learning)。这里的【学习器】就是指机器学习算法训练得到的假设。而我们之所以有直觉要把多个学习器组合在一起,...原创 2019-04-04 16:30:22 · 314 阅读 · 0 评论 -
逻辑回归算法梳理
1. 逻辑回归与线性回归的联系与区别其实并没有本质上的区别,就是逻辑回归多了一个Sigmoid函数,使样本能映射到[0,1]之间的数值,用来做分类问题。简单的例子就是可以使用吴恩达的课程中的例子来解释,线性回归用来预测房价,能找到一个公式来尽量拟合房价和影响房价因素之间的关系,最后得到的公式能准确的用来预测房价。在对参数不断调优以找到一组最拟合数据的参数来构成一个最好的模型,就是线性回归。逻辑...原创 2019-04-01 21:00:42 · 510 阅读 · 0 评论