机器学习 李宏毅 L33-Structured Learning-Linear Model

Structured learning的解决方法概述

对于第32讲，第一个问题可以使用specific model进行具体化，如下图所示，将Fuction表示为特定的characteristics的组合。

对于需要的feature，可以使用CNN进行，对于输出结果（例如，object detection的bounding box内的图像，文本总结的输出总结段，搜索列表的输出）的特征进行抽取，得到表示的特征。

第三个问题针对输入的training data，如何找到w，使得下图条件被满足，对于所有训练数据，如何找到合适的w，使得F(x,y)大于任意其他情况。

以下介绍如何求解该最优化问题的方法。如下图所示，该方法structured perceptron的说明为：输入为训练数据$\{(x_1,\hat{y}_1),(x_2,\hat{y}_2),...,(x_N,\hat{y}_N)\}$，需要寻找一个weight vector，使得F(x,y)最大，也就是上图所示。任取一组训练数据$(x_n,\hat{y}_n)$，找到在空间Y中的一个样本$\tilde{y}_n$，对应最大的$\phi(x_n,y)$。这点在第二步已经解决。
当$\tilde{y}_n$与$\hat{y}_n$不一致，则需要按照上图更新$w$。

对于structured perceptron，其收敛性证明如下图。首先说明$w_k$逐渐靠近$\hat{w}$。这一页证明了夹角余弦值的分子部分逐渐增加。

为了考虑分母部分，假设$\hat{w}=1$，仅考虑$w_k$。这样可以获得

$$\cos \rho_k \geq \frac{\sqrt{k}\delta}{R}$$
由于余弦值小于1，所以对于迭代次数存在一个上限。