读论文：Deep Neural Networks with Multitask Learning

读论文：A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning

使用一个卷积神经网络，对输入的句子做：词性标注，词块分割(chunks)，命名实体识别，词语相似度以及语言模型等任务。

背景：

很多系统缺乏统一的框架来进行深度语义任务，这些系统有三大缺点:1）它们获得的是浅层语义，因为它们都是线性的。2）为了使线性分类器表现好，他们手工构造了很多特征。3）它们与其他任务分开，导致传播错误

作者定义了一个统一的体系架构，以自动获得与手头任务有关的特征。

作者使用了半监督的方法进行联合学习，除了语言模型，其他的都用到了标签。

作者在这里用到了词嵌入层（2008年），即词嵌入权重根据反向传播学习。

作者使用了带窗口的时延神经网络TDNN（等价于卷积神经网络）

对于每一维特征，作者使用时间上的全局最大池化

联合训练的是嵌入层，模型中既有公用的嵌入层也有不同任务独用的嵌入层

模型训练使用到了语言模型，以周围词预测中间词（若中间词被替换，则预测为负样例）