本文介绍了log-linear模型，一种无需生成过程的判别式分类器，通过计算输入x和输出y的向量内积得分，并利用对数处理概率分布，解释了其名称由来。
log-linear模型 （对数线型模型）
一种判别式分类器，不需要生成过程
定义：
假设X是输入空间，Y是一个有限的空间，则该模型表达式为
p(y∣x;v)=ev⋅f(x,y)∑y′∈Yev⋅f(x,y′)
p(y \mid x ; v)=\frac{e^{v \cdot f(x, y)}}{\sum_{y^{\prime} \in \mathcal{Y}} e^{v \cdot f\left(x, y^{\prime}\right)}}
p(y∣x;v)=∑y′∈Yev⋅f(x,y′)ev⋅f(x,y)
其中，v⋅f(x,y)v \cdot f(x, y)v⋅f(x,y) 是向量内积计算出的“score”值。
为啥叫log-linear呢？我们对上式取对数
logp(y∣x;v)=v⋅f(x,y)−log∑y′∈Yev⋅f(x,y′)
\log p(y \mid x ; v)={v \cdot f(x, y)}-\log \sum_{y^{\prime} \in \mathcal{Y}} e^{v \cdot f\left(x, y^{\prime}\right)}
logp(y∣x;v)=v⋅f(x,y)−logy′∈Y∑ev⋅f(x,y′)
扫一扫
8585
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
