![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ML
IT_xiao兵
这个作者很懒,什么都没留下…
展开
-
机器学习之决策树
一颗决策树通常包括一个根节点,若干内部节点,若干叶节点。叶节点对应决策结果,其他节点则对应一个属性测试,每个节点包含的样本集合根据属性测试划分到子节点当中;根节点包含全部样本集。从根节点到每个叶节点的路劲对应了一个判定序列。其策略为“分而治之“。1 划分选择1.1 信息增益信息熵:度量样本集合纯度的一种常用指标,假定当前样本集合D中第类样本所占的比列为,则D的信息熵定义为Ent...原创 2018-09-04 18:07:44 · 209 阅读 · 0 评论 -
机器学习之支持向量机
1. 间隔和支持向量在数据集D,,基本思想是基于训练集D在样本空间中找到一个划分超平面,将不同类别的样本分开。划分超平面可用:,其中为法向量,决定了超平面的方向;b为位移项,决定了超平面与原点之间的距离。记为。样本空间中任意一点 x 到超平面的距离为 (1)假设超平面能使训练样本正确分类,对于,若,则有,若,则有。令...原创 2018-09-06 10:14:47 · 271 阅读 · 0 评论 -
机器学习之EM算法
预备知识1 jensen不等式回顾优化理论中的一些概念。设f是定义域为实数的函数,如果对于所有的实数x,,那么f是凸函数。当x是向量时,如果其hessian矩阵H是半正定的(),那么f是凸函数。如果或者,那么称f是严格凸函数。 Jensen不等式表述如下: 如果f是凸函数,X是随机变量,那么 特别地,如果f是严格凸函数,那么当且仅当...原创 2018-09-06 22:02:23 · 154 阅读 · 0 评论