logistic regression和最大熵模型都是对数线性模型,而对数线性模型属于广义线性模型。
最大熵模型属于运用最大熵原理的多分类模型。我们要清楚两件事:
- 什么是最大熵原理
- 最大熵模型如何运用最大熵原理
最大熵原理:
在满足约束条件的模型集合中选择熵最大的模型。
最大熵模型:
给定训练集
(
x
1
,
y
1
)
,
(
x
2
,
y
2
)
,
.
.
.
,
(
x
n
,
y
n
)
{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)}
(x1,y1),(x2,y2),...,(xn,yn),我们要求解
p
(
y
∣
x
)
p(y|x)
p(y∣x),需要确定它的形式以及参数。
- 考虑模型应该满足的条件
有多少个特征函数就有多少个约束条件
- 在满足所有约束条件的模型集合中,选择条件熵最大的模型
最大熵模型的形式化表示:
这是一个约束最优化问题。
求解最大熵模型:
将约束最优化问题转换为无约束最优化的对偶问题,通过求解对偶问题求解原始问题。
第一步:求对偶问题里的最下化问题,得到
p
(
y
∣
x
)
p(y|x)
p(y∣x)的形式
第二步:将形式带入拉格朗日函数,求对偶问题外层的最大化问题,求出参数
w
w
w
注意:
将
p
(
y
∣
x
)
p(y|x)
p(y∣x)的形式带入拉格朗日函数得到的结果,与直接求解
p
(
y
∣
x
)
p(y|x)
p(y∣x)关于训练样本的对数似然最大化是一样的。
即对偶函数的极大化等价于最大熵模型的极大似然估计。
最大熵模型的一般形式就是:
接下来可以通过对数极大似然估计求解参数。
最大熵模型可以特例化为logistic regression、softmax regression,具体来说, 在logistic regression中,特征函数可以理解为 当y=0时,对应n个为0的f(x,y); 当y=1时,对应 x 1 , x 2 , . . . x n x_1,x_2,...x_n x1,x2,...xn, 即有n个f(x,y),值分别是 x 1 , x 2 , . . . x n x_1,x_2,...x_n x1,x2,...xn。softmax regression 则有n*k个特征函数,其中k是类别,n是样本维数。
扩展:
[4]
对于离散变量X, 当X是均匀分布的时候,熵最大;
对于连续变量X, 1)给定均值和方差,当X是高斯分布的时候,熵最大;2)给定区间[a, b], 当X是均匀分布的时候,熵最大; 3) 给定均值,当X是指数分布的时候,熵最大。
[1] https://www.jianshu.com/p/e7c13002440d
[2] 最大熵模型特例化为logistic regression https://www.zhihu.com/question/24094554/answer/108271031
[3] https://www.cnblogs.com/pinard/p/6093948.html
[4] https://www.cnblogs.com/hgl0417/p/6693656.html