机器学习
isstack
靡不有初,鲜克有终
展开
-
统计学习方法10—隐马尔可夫模型详细推导
隐马尔可夫模型(HMM)是一种标注模型,描述由隐藏的马尔可夫链随机生成观测序列的过程,属于生成模型。其在语音识别,自然语言处理,模式识别等领域有着广泛的应用。1.基本概念 友好起见,我们以例子来导出马尔可夫的定义盒子与球模型 设有4个盒子,每个盒子里装有红白两种颜色的球。该模型抽取过程定义如下:先等概率选择一个盒子,从中抽取一次得到一个观测结果,然后换盒子,并且换盒子的过程中服从...原创 2019-07-12 20:48:39 · 516 阅读 · 0 评论 -
统计学习方法9—EM算法
EM算法是一种迭代算法,是一种用于计算包含隐变量概率模型的最大似然估计方法,或极大后验概率。EM即expectation maximization,期望最大化算法。1. 极大似然估计 在概率模型中,若已知事件服从的分布或者其他概率模型的参数,那么我们可以通过计算得到某事件发生的概率。而在估计中,这些变成了方向过程:已知一组数据发生的结果,相当于获得了经验概率,通过这组数据假设模型服从什么...原创 2019-07-09 20:58:19 · 358 阅读 · 0 评论 -
统计学习方法11—条件随机场
为了不学迷糊,条件随机场这儿应该理一理它与其他概率图模型的关系和区别。上一文讲的隐马尔可夫模型(HMM)是经典的有向图模型,同时也是一个生成模型,通过对P(Y,X)P(Y,X)P(Y,X)建模得到。HMM有两个重要假设,通过上文的推导过程也能体会到,这两个假设大大简化了计算过程。但是实际应用中,这两个假设往往不是很合理,后面出现了 最大熵马尔可夫模型(MEMM),它消除观测独立的假设,本文要讲...原创 2019-07-19 23:29:17 · 382 阅读 · 0 评论 -
熵、交叉熵及似然函数的关系
文章目录熵、交叉熵及似然函数的关系1. 熵1.1 信息量1.3 熵2. 最大熵中的极大似然函数2.1 指数型似然函数推导2.2 最大熵中的似然函数推导3. 交叉熵与极大似然3.1 联系3.2 交叉熵损失函数熵、交叉熵及似然函数的关系1. 熵1.1 信息量 信息量:最初的定义是信号取值数量m的对数为信息量III,即 I=log2mI=log_2mI=log2m。这是与比特数相关的,比如一...原创 2019-07-31 16:14:48 · 609 阅读 · 0 评论 -
拉格朗日对偶性(Lagrange duality)
文章目录拉格朗日对偶性(Lagrange duality)1. 从原始问题到对偶问题2. 弱对偶与强对偶3. KKT条件Reference:拉格朗日对偶性(Lagrange duality)1. 从原始问题到对偶问题 对偶性是优化理论中一个重要的部分,带约束的优化问题是机器学习中经常遇到的问题,这类问题都可以用如下形式表达min  &ThickSpace...原创 2019-08-05 16:24:11 · 480 阅读 · 0 评论 -
统计学习方法7-SVM详细推导
文章目录SVM1. 定义1.1 函数间隔和几何间隔1.2 间隔最大化2. 线性可分SVM2.1 对偶问题2.2 序列最小最优算法(SMO)2.2.1 坐标下降法2.2.2 SMO求解方法2.2.2.1 求解等式约束2.2.2.2 不等式约束修剪2.2.2.3 变量的选择方法3. 线性不可分SVM3.1 松弛变量3.2 求解对偶问题3.3 支持向量求解参数$w,b$4. 非线性SVM5. Refer...原创 2019-08-12 10:22:13 · 447 阅读 · 0 评论