结构化预测（Structered learning）

结构化预测（Structered learning）

---

1 Introduction

• $f:X\rightarrow Y$——输入输出不一定是向量
• 应用：语音辨识、翻译、文法剖析、位置监测、总结

• Unified Framework：

  • Training：$F:X*Y \rightarrow R$
  • Testing：$\tilde y = \mathop{argmax}\limits_{y\in Y}F(x,y)$

• Statistics Unified Framework：

  • Training：$P:X*Y \rightarrow [0,1]$
  • Testing：Given x, $\tilde y = \mathop{argmax}\limits_{y\in Y}P(x,y)$

---

2 three problems

1. Evaluation：F(x,y)长什么样？
2. Inference：怎么解argmax问题？
3. Training：给定训练数据，如何训练F(x,y)？

---

3 结构化预测线性模型

• $F(x,y) = w_1\phi_1(x,y) + w_2\phi_2(x,y)+… = w\phi(x,y)$
• $\forall y \in Y-\{\hat y_r\},w\phi(x_r,\hat y_r) > w\phi(x_r,y)$
  
  • 更新：$w \leftarrow w+\phi(x_r,\hat y_r)-\phi(x_r,\tilde y_r)$