目录
讲义链接:http://www.cs.columbia.edu/~mcollins/loglinear.pdf
一、Log-Linear提出的动机
在语言模型和标注问题中,马尔科夫模型和隐马尔科夫模型都做出了很强的条件独立性假设。例如,语言模型中假设了第i个单词出现的概率仅与前两个单词有关,标注问题中假设了第i个tag只与前两个tag有关。实际上,这种假设会忽略掉一些有用的信息。Log-Linear的提出正是为了解决这个问题。
二、Log-Linear模型
2.1 定义
我们的任务是为了建立一个模型,来预测的可能性。
2.2 特征的构造
Log-Linear模型中最核心的部分在于特征的构造,也就是将和通过函数映射到一个特征向量。函数是一组指示函数。在语言模型中,可以是如下的指示函数:
可以看到,这样子构造出来的特征考虑了更多的信息。
这样构造出来的特征向量维度很大,而且只有很小一部分的取值为1,其他都是0,存在着特征稀疏的问题。可以通过一个函数求出特征向量中取值为1的部分,在后续的计算中,使用减少计算的时间。
2.3 参数估计
为了方便后续的求解,对概率取对数:
由此,也可以看出Log-Linear名字的由来:log是对概率值取对数,linear是指是特征向量 的线性函数。模型的参数就是向量。
训练集的概率对数之和为:。参数的估计可以采用极大似然估计法:
为了避免过拟合以及参数中的某些值取无穷值,引入正则项 。修正后的目标函数为:
为了求解参数,可以使用下面的基于梯度提升的算法:
其中,梯度计算结果为:。