lijiwei1-Mutual Information and Diverse Decoding Improve Neural Machine Translationx z

复现MMI，我没有跑李纪为的matlab代码，但是大致明白模型到底是什么样实现的。

1.安装指定版本tensorflow跑通最基本的seq2seq翻译模型

参照https://blog.csdn.net/liuchonge/article/details/79021938

       

conda 更新：conda install 版本号

2.学会了attention的实现，使用了attentionMechanism和wrapper包裹cell

attention_mechanism = tf.contrib.seq2seq.BahdanauAttention(num_units=self.rnn_size, memory=encoder_outputs,
                                                                     memory_sequence_length=encoder_inputs_length)
#attention_mechanism = tf.contrib.seq2seq.LuongAttention(num_units=self.rnn_size, memory=encoder_outputs, memory_sequence_length=encoder_inputs_length)

decoder_cell = tf.contrib.seq2seq.AttentionWrapper(cell=decoder_cell, attention_mechanism=attention_mechanism,
                                                               attention_layer_size=self.rnn_size, name='Attention_Wrapper')

注意实现定义好单独的rnn_cell,方便调用。

3.

学会了beam_search的实现:

先对于encoder的output、state和encoder_inpus_length、batch_size都进行tile_batch,（（放在构建decoder_cell之前，因为我的用了attention处理decoder_cell，其中attention需要参数encoder_outputs

之后就是在test阶段使用beam_search,要注意贪心和beam都要有，因为在train阶段是贪心的。

之后不是用training中的GreedyTrainingHelper，而是使用BeamSearchDecoder来训练。

4.tf.identity的作用

：之前查过，还是不知道是干嘛的。

5.对于整个训练过程，我还是有些地方不明白，特此记录：

计算结果和loss（是我自己没记住）

self.decoder_logit_train = tf.identity(decoder_ouputs.rnn_output)

self.decoder_predict_train = tf.argmax(self.decoder_logits_train,axis =-1,name='decoder_pred_train')

elif self.mode == 'decode‘:

使用beam_search

6.attention部分。

直接使用了LuongAttention。大概学习了LuongAttention和B-Attention的不同。

前者是乘法attention，后者是加法attention。

 

7.lstm中，

输出：概率分布向量，对应词典里每个词的一个概率，

softmax就是将数字都e一下，然后得到每个所占的比例

p（y|x） = softmax（Ws*ht），最后得到的是log(softmax(x))

 

8.李纪为用matlab写的代码：

MMI_rerank里有三个文件，其中一个perl看不懂，另外两个，分别是

tune_bleu，导入生成的N-best，导入p(source|target)生成的score中的(t|s)和(s|t),不太明白。

和tune_length，在N-best中，直接对于score的(t|s)和(s|t)，进行加权，然后找到最好的。对于最好的最基本的函数可以学习一下。

9.

最终的目标表达式如下：

另外对于logP（y）的实现，我疑惑很大.称作anti_LM,用来惩罚较为通用的句子。

似乎没有实现。如果纯粹是每句话出现的概率，

说的是  输入全是0的时候得到P（T）

p(T)就是一句话存在的概率，也就是一个模型

最后使用U(T)代替P(T)

for i in range(0,len(translations)):
        index=int(indexes[i]);
        if index!=line_index:
            t1=best_translation.find(" ");
            t2=best_translation.find(" ",t1+1);
            t3=best_translation.find(" 50001");
            word_list=best_translation[t2:t3].strip().split(" ");
            for word in word_list:
                File.write(Dic[word]+" ");
            File.write("\n")
            line_index=index;
            max_score=-10000;
            best_translation ="";
        current_score=(1-MMI)*float(t_given_s[i])+MMI*float(s_given_t[i])+Lambda*int(lengthes[i]);

logP(T)是  Training p(y) from Monolingual Data。encoder部分全部是null。（还有一种是通过别的机器学习模型先翻译个大概，然后用这部分语料也来训练。）

借鉴了论文Sennrich《 Improving Neural Machine Translation Models with Monolingual Data 》