机器学习篇——对数线性模型

建议首先看cs229讲的广义线性模型、exponential family（指数分布族）
对数线性模型包括逻辑回归、最大熵模型和条件随机场等
1、模型
条件概率分布（对数线性模型、概率模型）、判别模型

逻辑回归：
概率分布可由广义线性模型推导得到
多分类时，分子部分为：第k类exp(-wk*x+b)，第一类为1
分母部分为所有类分子之和，即标准化因子
最大熵模型：
概率分布由最大熵原理进行建模
分子部分为：exp(特征函数的加权和）
分母部分为对分子的标准化因子
条件随机场：
概率分布由线性链（简单情况）条件随机场确定
分子为：
分母为：
2、策略
最大似然估计
注：凡是已知条件概率分布（其实是似然）的模型，一般策略都是最大似然估计，即最小化对数损失函数
最大似然估计是一种参数估计方法，其他还有最大