机器学习6

其他问题

1.隐马尔科夫模型

​ 隐马尔可夫模型是一个关于时序的概率模型，描述由隐马尔科夫链随机生成观测序列的过程。属于生成模型。隐马尔可夫模型在语音识别，自然语言处理，生物信息领域有着广泛的应用。

隐马尔可夫模型两个假设：

①齐次马尔可夫性假设：即假设隐藏的马尔科夫链在任意时刻t的状态职以来于其钱一时刻的状态，于其他时刻的状态及观测无关，也与时刻t无关。
$$P(i_t|i_{t-1},o_{t-1},....,i_1,o_1)=P(i_t|i_{t-1}),t=1,2,....,T$$
②观测独立性假设：即假设任意时刻的观测只依赖于该时刻的马尔科夫链的状态，与其他观测即状态无关。
$$P(o_t|i_t,o_t,....,i_1,o_1)=P(o_t|i_t),t=1,2,....,T$$
隐马尔可夫模型三个基本问题：

①概率计算问题：给定模型λ = （A,B，π）和观测序列O=（o1,o2,…,ot），计算在模型λ下观测序列O出现的概率P（O|λ）

②学习问题：已知观测序列O=（o1,o2,…,oT）估计模型λ=（A,B，π）参数，使得在该模型下观测序列概率P（O|λ）最大。

③预测问题：已知模型λ=（A,B，π）和观测O=（o1,o2,…,ot），求对给定观测序列条件概率P=（I|O）最大的状态序列。即给定观测序列，求最有可能的对应的状态序列。

应用：

词性标注、中文分词、天气预测等

2.CRF条件随机场

​ CRF条件随机场是一个序列标注模型，其优点在于为一个位置进行标注的过程中可以利用丰富的内部及上下文特征信息。

​ CRF由John Lafferty最早在NLP技术领域任务中进行文本标注，有多中应用场景，如：

• 分词（标注自的词位信息，由字构词）
• 词性标注（标注分词的词性，例如：名词，动词，助词）
• 命名实体识别（识别人名，地名，机构名，商品名等具有一定内在规律的实体名词）

3.LDA主题模型

​ LDA主题模型是一种文档主题生成器，是一种非监督机器学习技术。通过模拟文档生成过程，可以用来识别大规模文档集或语料库中潜藏的主题信息。

4.生成模型VS判别模型

​ 监督学习方法可以分为两大类，即生成方法与判别方法，它们所学到的模型成为生成模型与判别模型。

例子：

例如你需要识别一种语言到底是汉语还是英语等。那么你就可以有两种方法达到这个目的：

①学习两种语言，你花了大量精力把汉语和英语都学会了，然后你就知道是哪种语言了。

②不去学习每一种语言，你只学习汉语与英语的差别，然后在分类。

生成方法的特点：

• 从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度；
• 生成方法还原出联合概率分布，而判别方法不能；
• 生成方法的学学习收敛速度更快快，即当样本容量增加的时候，学到的模型可以更加的收敛域真实模型；
• 当存在隐变量时，仍然可以用生成方法学习，此时判别方法不能用。

判别方法的特点：

• 判别方法寻找不同类别之间的最优分类面，反映的是一类数据之间的差异。
• 判别方法利用了训练数据的类别表示信息，直接学习的是条件概率P（Y|X）或者决策函数f（X），直接面对预测，往往学习的准确率更高；
• 由于直接学习条件概率P（Y|X）或者决策函数f（X），可以对数据进行各种程度上的抽象，定义特征并使用特征，因此可以简化学习问题。
• 缺点是不能反映训练数据本身的特征