第1章 统计学习方法概论——第8～10节 分类、标注、回归问题

关于统计学习方法的知识，参考书《统计学习方法》，李航著，清华大学出版社。

第一章 统计学习方法概论

第8～10节 分类、标注、回归问题

一、回归问题：

等价于函数拟合：选择一条函数曲线使其很好地拟合已知数据。

回归问题最常用的损失函数是平方损失函数，这种情况下，可以由著名的最小二乘法（least squares）来求解；

二、分类问题：

三、标注问题：

标注（tagging）也是一个监督学习问题，是分类问题的一个推广，又是更复杂的结构预测（structure prediction）问题的简单形式。

标注问题的目的在于学习一个模型，使它能够对观测序列给出标记序列或状态序列作为预测。同样地，标注问题也分为学习和标注两个过程。

标注问题的应用：

1、自然语言处理中的词性标注就是一个典型的标注问题：给定一个由单词组成的句子，对这个句子的每个单词进行词性标注，即对一个单词序列预测其对应的词性标注序列。

2、信息抽取：从英文文章中抽取基本名词短语，为此要对文章进行标注。英文单词是一个观测，英文句子是一个观测序列。标记表示名词短语的“开始”、“结束“或“其他”（分别以B、E、O表示），这样标记序列就表示英文句子中基本名词短语的所在位置。信息抽取时，将标记“开始”到标记“结束”之间的单词作为名词短语。例如：

输入：At Microsoft Research, we have an insatiable curiosity and the desire to create new technology that will help define the computing experience.

输出：At/O Microsoft/B Research/E, we/O have/O an/O insatiable/B curiosity/E and/O the/O desire/BE to/O create/O new/B technology/E that/O will/O help/O define/O the/O computing/B experience/E.