论文笔记《Part-of-Speech Tagging for Twitter with Adversarial Neural Networks》

这里记录近两个月阅读论文中，最贴近项目需求的几篇论文，此博为其中一篇，也是思想引用最多的一篇。

0、Paper basic information
Authors：Tao Gui, Qi Zhang∗, Haoran Huang, Minlong Peng, Xuanjing Huang
School: Fudan University
Published 2017 in EMNLP

1.Introduction
Twitter社交媒体内容具有非正式、非标准词汇；不同领域之间地差异；lack of training data and out-of-vocabulary words.

提出TPANN网络，使用大量其他领域注释数据、领域内未标记数据、少量标记领域内数据，为客服敌对网络只能学习通用特性地缺陷，使用autoencoder只对目标数据集进行操作，以保留其特性。为解决out-of-vocablary问题，方法包含character level CNN 利用subword信息。

论文主要贡献：
合并large scale unlabeled in-domain data, out-of-domain label data, in-domain labeled data RNN, 通过 in-domain 和 out-of-domain 学习 domain-invariant 表示，通过学习表示构造跨域 POS tagger 试图保留目标域的特性。
实验结果表明，在三个不同数据集上取得更好的性能。

2.Approach
TPANN：学习资源丰富领域和目标领域之间学习共同特征，同时保持目标领域特性。
将双向LSTM扩展为 adversarial network 和 autoencoder，模型分为四部分：Feature Extractor， POS Tagging Classifer，Domain Discriminator，Target Domain Autoencoder.

2.1 Feature Extractor
F采用CNN提取character embedding feature，可解决词汇表外问题，为合并word embedding features，连结 word embedding、character embedding 作为下一层 bi-LSTM 输入，用 bi-LSTM 来 model sentences，F可提取顺序关系和上下文信息。

输入句子x，第i word：$xϵS(x)$，$xϵT(x)$，输入样本来自源领域和目标领域。

${\theta }_f$：F的参数，$\nu $ : the vocabulary of words, $C$ : the vocabulary of characters, d : character embedding 的维度$QϵR^{d\times |c|}$ : representation matrix of vocabulary.
假设$x_{i}\epsilon \nu $ 组成字符序列$c^i=[c_1,c_2,...,c_l]$，$l$是单词最大长度，每个单词会被填充到这个长度。$c^iϵR^{d\times l}$：是CNN的输入。

采用一个narrow convolution between $c^i$ and filter $HϵR^{d\times k}$，k是filter width。添加 a bias 应用非线性获得 a feature map $m^iϵR^{l-k+1}$，$m^i$ 的第j个元素：$i^k[j]=tanh(<c^i[\ast ,j:j+k-1],H>+b)$

$<A,B>=Tr(A{B}^T)$： the Frobenius inner product.
用 a max-over-time pooling operation over the feature map.
CNN 用不同宽度的 filters 获得 feature vector $\overrightarrow{c_i}$ for word \vec{x_{i}}

character-level feature vector $\overrightarrow{c_i}$ 是连接到 word embedding $\overrightarrow{w_i}$ 为下一层 bi-LSTM 输入
word embedding $\overrightarrow{w_i}$ 是预先训练了30 million tweets.
then, the hidden states $h$ of bi-LSTM 变成 features 将 transfered to $P,Q,R$，即 $F(x)=h$.

2.2 POS Tagging classifier and Domain Discriminator
$P$ and $Q$ 以 $F(x)$ 为输入。有standard feed-forward networks with a softmax layer for classification. $P$ 预测POS tagging label to 获得分类能力，$Q$ 区别域标签使$F(x)$ 域不变。$P$ maps the Feature vector $F(x_i)$ to its label. mapping 的参数表示为 ${\theta }_y$. 在$N_s$样本，源领域内 with the 交叉熵损失。$L_{task}=-{\sum }_{i=1}^{N_s}{y}_i\ast log\widehat{y_i}$.

$y_i$ 是 POS tagging label 的 one-hot 向量，对应 $x_iϵS(x)$
$\widehat{y_i}=P(F(x_i))$，是top softmax层的输出。
参数${\theta }_f,{\theta }_y$ 通过降低分类损失$L_{task}$ 进行优化，确保 $P(F(x_i))$ 可对源领域做出预测。

相反，domain discriminator maps the same hidden states $h$ to the domain labels. 参数 ${\theta }_d$ 区分域标签用损失函数 $L_{type}={\sum }_{i=1}^{N_s+N_t}\left\{d_{i}log\widehat{d_i}+(1-d_i)log(1-\widehat{d_i})\right\}$
$d_i$ 是样本i的ground truch domain label. $\widehat{d_i}$：top layer 输出：$\widehat{d_i}=Q(F(x_i))$

domain discriminator 通过最小化${\theta }_d$ 的损失，达到损失函数的a saddle point，同时最大化${\theta }_f$ loss 确保域区别器不能区别域，即特征提取器发现两领域共同特征。