![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
程旭员
人生苦短,我用Python
GitHub:https://github.com/MrLuoj
展开
-
机器学习——HMM(隐马尔可夫模型的基本概念)(一)
【开始之前】由于隐马尔可夫模型属于机器学习中比较难也比较重要的知识,所以此算法笔者将分段讲解,本文主要讲的是隐马尔可夫模型的定义以及相关例子,在后续的文章中会讲到概率计算方法如前向算法、后向算法、学习算法如Baum-Welch算法、预测算法如维特比算法,敬请期待!目录一、隐马尔可夫模型的定义二、隐马尔可夫模型的例子1、盒子和球模型2、三骰子模型一、隐马尔可夫模型的定义隐马尔可夫模型是...原创 2019-11-18 18:57:25 · 1684 阅读 · 18 评论 -
KL散度超详细讲解
KL散度定义KL(Kullback-Leibler divergence)散度多应用于概率论或信息论中,又可称相对熵(relative entropy)。它是用来描述两个概率分布P和Q的差异的一种方法。【记】KL具有非对称性,即D(P||Q) ≠ D(Q||P)。在信息论中,D(P||Q) 表示用概率分布Q来拟合真实分布P时,产生的信息损耗,其中P表示真实分布,Q表示P的拟合分布KL散度公...原创 2019-11-12 13:09:36 · 20280 阅读 · 20 评论 -
机器学习——EM算法及代码实现
EM算法是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计或极大后验估计。预备知识:用Y表示观测随机变量的数据,Z表示隐随机变量的数据。Y和Z连在一起称为完全数据,观测数据Y又称为不完全数据。给定观测数据Y,其概率分布是P(Y|θ),其中θ是需要估计的模型参数,它相应的对数似然估计L(θ)=logP(Y|θ)。假设Y和Z的联合概率分布是P(Y,Z|θ),那么完全数据的对数似然函数是lo...原创 2019-11-11 19:54:01 · 10333 阅读 · 18 评论 -
机器学习——层次聚类(超详细)
层次聚类层次聚类:层次聚类假设类别之间存在层次结构,将样本聚到层次化的类中。层次聚类类型:自下而上(bottom-up)或称聚合(agglomerative)、自上而下(top-down)或称分裂(divisive)。谨记:层次聚类中每个样本只属于一个类,所以层次聚类属于硬聚类。(一般来说聚类分为硬聚类和软聚类,硬聚类明确一个样本只属于一个类,而软聚类的一个样本可以属于多个类)。聚合聚类...原创 2019-11-10 15:41:51 · 8076 阅读 · 12 评论 -
机器学习——KNN及代码实现
KNNKNN即k-nearest neighbor(k近邻法),多应用于分类问题。k近邻法的输入为实例的特征向量,对应于特征空间中的点。输出为实例的类别。K近邻法原理给定一个训练数据集,对新的输入数据,在训练数据集中找到与该实例最邻近的k个实例,这k个实例的多数属于某个类,就把该实例分为这个类。K近邻算法输入:训练数据集...原创 2019-11-07 18:39:30 · 3555 阅读 · 19 评论