在这篇博客中,我们针对最大熵模型MaxEnt,最大熵马尔科夫模型MEMM,条件随机场CRF做一下介绍。
首先我们来看看MaxEnt,MaxEnt模型中最本质得思想就是我们对未知的事情不要做任何假设。也就是对未知的事情应该等概率对待,这种条件下信息熵往往是最大的。
最大熵原理指出,当我们需要对一个随机事件的概率分布进行预测时,我们的预测应当满足全部已知的条件,而对未知的情况不要做任何主观假设。在这种情况下,概率分布最均匀,预测的风险最小。因为这时概率分布的信息熵最大,所以人们称这种模型叫“最大熵模型”。我们常说,不要把所有的鸡蛋放在一个篮子里,其实就是最大熵原理的一个朴素的说法,因为当我们遇到不确定性时,就要保留各种可能性。说白了,就是要保留全部的不确定性,将风险降到最小。—-摘自《Google黑板报》作者:吴军
看到这你可能觉得那这个模型也太弱了吧,其实光假设所有未知时间是等概率,那确实很弱,但是我们会加进来很多约束条件和特征函数,接下来我们来来一一介绍。
首先我们来看看特征函数,所谓特征函数就是添加一些规则,使我们的模型功能更加强大,前面说了光凭等概率的模型,太弱了,如果真的是用那种方法的话,那我们不必要这么大费周折了,直接随缘法多好。说白了,最大熵的增强功能都是体现在特征函数上。
可以看到这些都需要算法工程师对所处理的数据有好的认识,