How Did Watson Answer —— Final Merging and Ranking

一、摘要

Watson答题处理流程的最后一步是答案的合并与排序。在这一步中，实现了按步骤划分并且可以逐次的机器学习框架，可以利用每一步中候选答案的评分，按照多个特征综合评分。
Watson中使用机器学习算法，面临的主要挑战有：1)候选答案有可能相同或相关，2)特征在不同题目类型中的重要程度不同，3)特征在排序过程中价值不同，4)特征之间结构不相同，5)答案类型失衡严重。

二、框架

合并与排序采用的机器学习框架中的样例是问题答案对，特征是每一个候选答案的评分，每个样例大约会有550个特征。这个框架是多步骤的，并且每个步骤的结果可以被下一个步骤使用。步骤被划分为起步：
1. 候选集归一化(Hitlist Normalization)——排序并留存前100个答案；
2. 基础(Base)——按照问题分类；
3. 迁移学习(Transfer Learning)——对于普遍问题的迁移学习；
4. 合并答案(Answer Merging)——合并相同问题的证据并规范表示；
5. 去粗取精(Elite)——依次精化留存的前5个候选答案；
6. 证据传播(Evidence Diffusion)——合并相同问题的支持证据集；
7. 多答案处理(Multi-Answers)——对于要求多个答案的问题，合并候选集。
每一大步中，又分为三个步骤：
8. 证据合并(Evidence Merging)将某个样例的不同处中的支持证据进行合并；
9. 后加工(Postprocessing)针对样本和特征值进行矩阵变换；
10. 分类器训练/应用(Classifier Training/Application)在指定的模式下，分类器开启训练或者应用模式。
11.

三、技术细节

(一)答案合并

由于自然语言表达的多样性，同一个答案可能有多种表达方式，为了统一这些表达，就必须使用答案合并技术——先合并相同候选中的所有证据，然后评价合并的置信度。
合并器有多种实现方式，词态学合并器根据基础单词(base word, 专业说法是什么？)的不同形态合并候选，模式合并器根据特定语义类型合并候选，查表合并器通过预先建立的关联实体表进行合并。
当然了，答案合并不光支持相等关系，还支持其他一些关系。这个技术在第四大步“合并答案”的第二小步“证据合并”中使用。
####(二)特征合并
特征合并的目标是将各特征值放入同一个特征向量中，某一篇文章针对某一个候选的支持分数就是向量的一个值，而最后合并的结果是这些值计算为一个值。在各值按从高到低排序好，$p_0, p_1 ... p_k$，衰减求和：

$$decay(p_0, ..., p_K) = \sum_{i=0}^K {\frac{p_i}{2^i}}$$
特征合并在每一大步的第一步证据合并中都会调用。

(三)利用分类器排序

在多种技术中，Watson使用了归一化Logistic回归来给出总分数：

$$f(x)=\frac {1}{1+e^{-\beta _ 0 - \sum_{m=1}^M{\beta_m x_m}}}$$
其中， $m$代表样例$x$的 $M$个特征的值，$\beta_0$代表偏差值。
这一技术在每一大步的分类器应用中都会使用。

(四)正态化

正态化用来比较一个样例的某个特征值和其同类型样例的相同特征值，对于一个候选集合$Q$，第$i$个候选的第$j$个特征的正态特征值计算方式为：
$x_{ij}^{std} = \frac{x_{ij}-\mu_j}{\sigma_j}$
其中$\sigma_j = \frac{1}{|Q|} \sum_{k=1}^{|Q|} x_{kj}$，
$\sigma_j = \sqrt{\frac{1}{|Q|} \sum_{k=1}^{|Q|} (x_{kj}-\mu_j)^2}$
正态化操作在第一、二、三、四、六的后操作中欧都会进行。

(五)输入缺失值

（笔者注：这里提出了一个新的概念，路径。原文是“Each phase specifies its set of routes, where for each route, a specialized model is trained.”恕在下无能，实在没明白这个路径的概念是怎么回事。）

(六)特征选择

为了更好地匹配特征和处理步骤、路径，使用了特征值和答案是否正确的关联来进行判断。经过试验，效果最好的方法是结合使用基于Weka(Waikato Environment for Knowledge Analysis)机器学习工具包的一致性子集属性评估器所到处的最高匹配结果与正确相关性的方法。
这种技术在样例不是很多的步骤/路径对中使用。

(七)稀有问题类别上的迁移学习

对于某些特定的问题类型，由于它们的稀少性，采用一种参数迁移的方法来进行特殊处理。这种技术仅在迁移学习这一步中使用。

(八)逐次精化

逐次精化在第一大步中使用，用以清除掉那些完全不可能的候选答案。

(九)样例权重

在每一大步的分类器训练过程中，即Logistic分类器的训练，非正确答案的权重会调整成0.5。

(十)证据传播

证据传播其实是试图基于问题题干和候选项之间的关系，鉴别出一个候选答案的支持证据对另一个是否能起到支持作用。对于能够进行传播的两个候选，应当满足以下三个关系：
1.两者类型一致
2.两者之间有语义关联
3.两者之间的传播是有意义的
如果传播前目标特征的值是$f(x)=\sum_m \beta_m x_m$, 传播的特征是$x'_m$，对应的权重是$\gamma$，那么输出会是：

$$\begin{align} f'(x) & =\gamma_0+\sum_m \gamma_m x'_m + \gamma_M+1f(x) \\ & =\gamma_0 + \gamma_M+1 \beta_0 + \sum_m \gamma_m x'_m + \gamma_{M+1}\beta_mx_m \end{align}$$
证据传播只在证据传播的证据合并那一步进行。

四、综合设计

下图部分地展示了上述各个组件是如何在合并与排名阶段组合、运行的。

简单说一下上图中没有的各个步骤。去粗取精与第二步“基础”类似，只是仅仅使用了前5个候选答案。证据传播与答案合并类似，只是合并的是相关联的候选答案。多答案处理仅仅在问题要求多个独立答案时调用，合并前面各步中产生的多个答案到一个答案中。