【机器学习算法-EM】

1.EM

EM算法也称期望最大化，它是一个基础算法，是很多机器学习领域算法的基础。
EM算法是一种迭代优化策略，由于它的计算方法中每一次迭代都分为两步，期望步（E步）和极大步（M步）

缺失思想：
首先根据已经给出的观测数据，估计出模型参数的值；
然后再依据上一步估计出的参数值估计缺失数据的值，再根据估计出的缺失数据加上之前已经观测到的数据重新再对参数值进行估计。
然后反复迭代，直至最后收敛，迭代结束。
极大似然估计

2.HMM模型

马尔可夫链：即状态空间中从一个状态到另一个状态转换的随机过程。
马尔可夫性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。
只要求出系统中任意两个状态之间的转移概率，这个马尔科夫链的模型就定了。

HMM(隐马尔可夫模型)：描述一个含有隐含未知阐述的马尔可夫过程。

使用HMM模型时我们的问题一般有两个特征：
1）我们的问题时基于序列的，比如时间序列，或者状态序列。
2）我们的问题中有两类数据：一类序列是可以观测到的即观测序列，另一类是隐藏状态序列，简称状态序列。

前向算法求HMM观测序列。
后向算法求HMM观测序列。

3.集成学习进阶

xgboost算法原理：极端梯度提升树。