第六章 逻辑斯谛回归与最大熵模型
两者都属于对数线性模型
6.1 逻辑斯谛回归模型
6.1.1 逻辑斯谛分布
F(x) 非减,有界,连续------>F(x)为分布函数
f(x)关于x=μ对称,在此处取得最大时1/4γ
6.1.2 二项逻辑斯谛回归模型
将ω和x进行扩充,分别扩充b与1,ω·x+b可以简化成ω·x
- 该模型的输入输出变量间不存在线性关系
- 逻辑回归的输入变量可以是连续变量也可以是离散变量
- 参数估计采用最大似然估计法
特点
一个事件的几率(odds)是指该事件发生的概率与该事件不发生的概率的比值。
6.1.3 模型参数估计
6.1.4 多项逻辑斯谛回归
6.2 最大熵模型
最大熵原理认为,学习概率模型时,在所有可能的概率模型中,熵最大的模型就是最好的模型
6.2.1 最大熵原理
6.2.2 最大熵模型的定义
原始问题和对偶问题
拉格朗日乘子法
α,β为拉格朗日乘子,αi≥0,ci(x)≤0,hj(x)=0
考虑关于x的函数
采用遍历的方式将所有的 α,β 一个一个代入拉格朗日函数中那么就相当于我们已知 α,β 。那么上述函数就是关于 x 的函数,下标P代表primal。
至于要借用一个L函数即可完成,无需列出约束条件
原始问题的最优值
考虑α,β的函数,
D为dual
对偶问题的最优值
称为广义拉格朗日函数的极大极小问题。将广义拉格朗日函数的极大极小问题表示为约束最优化问题
如果原始问题与对偶问题都有最优解,则