1. 结构线性模型
回顾结构学习,我们可以知道结构学习可以分为如下的三个问题
其中第一个问题是估计关系的时候我们需要给出估计 x,y 匹配程度的一个具体形式;在第二个问题中,我们往往假设我们已经找到了是函数值最大的 y;在第三个问题中,给定训练数据,我们如何得到函数 F(x,y) 。
1.1 问题1:F(x,y) 的具体形式
F(x,y) 的具体形式如下图所示
其中 ϕ(x,y) 表示通过输入的数据和输出的共同构成的特征,而 w 是对应的权重,这里通过权重与特征的线性组合,然后将这些线性组合以向量的点积的形式表示出来,就得到了 F(x,y)
其中
1.2 问题2:给出一个 x 可以得到一个预测标签
这里假设已经得到这样的一个标签
在这里我们假设是可以通过穷举或者某一种方式得到 y 。
1.3 问题3:如何训练得到一个 F(x,y)
因为在问题1中我们已经知道了这个 F(x,y) 是关于 w 的函数,通过训练我们应该使我们的模型满足下面的条件
也就是说正确的标签所得到的函数值要大于所有非正确的标签的函数值。
2. F(x,y) 的训练过程
F(x,y) 的训练过程实际上十分简单,如下图所示
输入是训练数据,输出模型的权重,在这里首先将