最大熵模型理论及推导

最新推荐文章于 2024-07-29 07:45:00 发布

RYP_S

最新推荐文章于 2024-07-29 07:45:00 发布

阅读量3k

点赞数

分类专栏：自然语言处理机器学习文章标签：机器学习自然语言处理

本文链接：https://blog.csdn.net/renyp8799/article/details/46696279

版权

本文深入探讨了最大熵模型的理论，从熵的概念出发，通过实例解释熵的计算和应用，包括称硬币和小白鼠毒水问题。接着介绍了最大熵模型的基本原理，即在满足所有已知条件的情况下，寻找概率分布最均匀的模型，以最大化信息熵。文中通过具体的例子展示了如何在自然语言处理中应用最大熵模型，如词性标注问题，并提到了最大熵模型与最大似然估计的关系。

摘要由CSDN通过智能技术生成

记得刚开始研究最大熵模型时，被它的数学推导搞得云里雾里（汗！数学基础不好啊~~~~快哭了）

不过现在补还来得及，借此机会缕了一下MaxEnt的推导

一、熵入门理解

什么是熵？比如你打碎了一块玻璃，或者洒落了一盒火柴，很自然的事情就是玻璃碎的一塌糊涂，火柴也是，很乱，毫无规律可言。规律是什么东西？规律的反面是什么？其实很有意思的事情就是自然界的东西尽可能的互补以及平衡，火柴很乱，那就规律性很小。

乱+序=1.

既然=1，那么这个乱也能描述啦？这就是熵的概念，熵是描述事物无序性的参数，熵越大则无序性越强。

我们更关注的是信息熵，怎么用熵来描述信息，不确定性等等。怎么用数学式子进行形式化描述呢？前人已经做了很多工作了：

设随机变量 ξ ，他有 A 1 、 A 2 .... A n 共 n 个不同的结果，每个结果出现的概率为 p 1 ， p 2 .... p n ，那么 ξ 的不确定度，即信息熵为：

H(ξ)=∑ i=1 n p i log1p i =−∑ i=1 n p i logp i

熵越大，越不确定。熵为0，事件是确定的。例如抛硬币，每次事件发生的概率都是1/2的话，那么熵=1：H(X)=-(0.5log0.5+0.5log0.5)=1（注意以2为底）。

那么这个式子是怎么来的呢？为什么会用log表示？我也不知道啊，查查文献。不过【参考5】中举了几个简单的例子来说明一下过程，这里引用下。

二、熵举例

例子：称硬币的问题，说有5个硬币，其中有一个是假的，这个假硬币的重量很轻，所以打算用一个天平称称，问需要最少称几次就能够保证把这个假硬币给找出来？这个问题其实是一个很经典的问题，也有另外一个类似的问题是毒水和白鼠的问题，5瓶水其中一瓶有毒，用最少几只白鼠能够保证把毒水找出来？

其实这个问题有个统一的解法就是对半分呗，二叉树，二进制等。

拿硬币的例子，可以取四个放在天平两端，如果相等那么剩下的那个就是假的。如果不相等，把轻的一端的两个硬币再称一次就知道假的了。因为这样称两次就能够保证把假硬币找出来了。这里称的事件是有三个结果的：左边重、相等、右边重。

拿小白鼠的例子，小白鼠只有活着和中毒两种状态，咱们这里人性一点儿，有解药可以解毒的，只要实验达到目的就行。那么把水分成两组，一组两瓶，一组三瓶，让一只小白鼠和一组，如果中毒，假设是三瓶的那一组，那么再递归的讲这三瓶分组，最坏情况下是用3只小白鼠。这里小白鼠的事件只有两个结果：中毒、健康。

我们假设x是那瓶毒水的序号， x∈X={ 1,2,3,4,5} ，y是第i只小白鼠的症状， y∈Y={ 1,2} ,，1表示健康，2表示中毒。

用二进制的思想的话就是设计编码 y 1 y 2 ...y n 使他能够把x全部表示出来。因为一个y只有两个状态，所以要有三个y并列起来才能表示 2×2×2=2 3 =|Y| 3 =8>5 。所以是用三只小白鼠。上面称硬币的问题由于一个y可以表示三个状态，所以需要两个 3∗3=9>5 就可以表示完所有的x了。