论文阅读：Unsupervised Paraphrasing without Translation

文章简介：

     这篇文章提出只用无标签的单语语料学习转述模型， 并提出了一个向量量化变分自动编码器（VQ-VAE）的残差变体；作者和基于机器翻译（监督和无监督）的方法对比，单语转述方法对无监督方法全面胜出，跟监督翻译对比在识别和增强方面胜出，生成方面不如；

 

方法：

      作者提出的模型是对VQ-VAE   decoder entropy 简单的优化，允许生成语义相似但是风格类型不同的句子；

      paraphrasing model 评估：

                   1.内在评估：评估转述识别和转述生成；

                   2.外在评估：用转述的方式的数据增强对分类的影响；

      基于残差VQ-VAE的无监督单语转述：

             VQ-VAE和连续的VAE相反，依赖于离散的潜变量，类似于经典的聚类算法，利用共通的潜变量属性，达到显式控制一组输出类似的结果；作者围绕着量化模块，添加了一个连续残差连接的复杂模型：

            作者修改了transformer encoder，映射一个句子到一个固定大小的向量， 避免在输入和潜在表示之间选择固定的长度压缩速率，这个固定大小的特征表示类似于文本分类的特殊词（为社么需要一个输出和潜在表示之间的固定压缩率？）

                                                    

 

         然后encoder的输出也只限于这段固定大小的位置；因为使用multi-head，encoder输入是经过了一个量化模块才输出：

                                                  

                  ci是 codebook vectors；每个head共享，

                  残差连接

                   根据VQ模块的定义，残差向量和量化向量总是具有相似的规范，所以不同于经典的连续残差？

 

PS：

     红色部分插个眼，回头补上；

【1】VQ-VAE，the codebook vectors： Neural discrete representation learning

【2】VAE优化，rate regularization：beta-vae:Learning basic visual concepts with a constrained variational framework.

                          denoising objectives：Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion.