自然语言期末复习笔记—最大熵模型

在这篇博客中，我们针对最大熵模型MaxEnt,最大熵马尔科夫模型MEMM,条件随机场CRF做一下介绍。

首先我们来看看MaxEnt，MaxEnt模型中最本质得思想就是我们对未知的事情不要做任何假设。也就是对未知的事情应该等概率对待，这种条件下信息熵往往是最大的。

最大熵原理指出，当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以人们称这种模型叫“最大熵模型”。我们常说，不要把所有的鸡蛋放在一个篮子里，其实就是最大熵原理的一个朴素的说法，因为当我们遇到不确定性时，就要保留各种可能性。说白了，就是要保留全部的不确定性，将风险降到最小。—-摘自《Google黑板报》作者：吴军

看到这你可能觉得那这个模型也太弱了吧，其实光假设所有未知时间是等概率，那确实很弱，但是我们会加进来很多约束条件和特征函数，接下来我们来来一一介绍。

首先我们来看看特征函数，所谓特征函数就是添加一些规则，使我们的模型功能更加强大，前面说了光凭等概率的模型，太弱了，如果真的是用那种方法的话，那我们不必要这么大费周折了，直接随缘法多好。说白了，最大熵的增强功能都是体现在特征函数上。

可以看到这些都需要算法工程师对所处理的数据有好的认识，