复现MMI,我没有跑李纪为的matlab代码,但是大致明白模型到底是什么样实现的。
1.安装指定版本tensorflow跑通最基本的seq2seq翻译模型
参照https://blog.csdn.net/liuchonge/article/details/79021938
conda 更新:conda install 版本号
2.学会了attention的实现,使用了attentionMechanism和wrapper包裹cell
attention_mechanism = tf.contrib.seq2seq.BahdanauAttention(num_units=self.rnn_size, memory=encoder_outputs,
memory_sequence_length=encoder_inputs_length)
#attention_mechanism = tf.contrib.seq2seq.LuongAttention(num_units=self.rnn_size, memory=encoder_outputs, memory_sequence_length=encoder_inputs_length)
decoder_cell = tf.contrib.seq2seq.AttentionWrapper(cell=decoder_cell, attention_mechanism=attention_mechanism,
attention_layer_size=self.rnn_size, name='Attention_Wrapper')
注意实现定义好单独的rnn_cell,方便调用。
3.
学会了beam_search的实现:
先对于encoder的output、state和encoder_inpus_length、batch_size都进行tile_batch,((放在构建decoder_cell之前,因为我的用了attention处理decoder_cell,其中attention需要参数encoder_outputs
之后就是在test阶段使用beam_search,要注意贪心和beam都要有,因为在train阶段是贪心的。
之后不是用training中的GreedyTrainingHelper,而是使用BeamSearchDecoder来训练。
4.tf.identity的作用
:之前查过,还是不知道是干嘛的。
5.对于整个训练过程,我还是有些地方不明白,特此记录:
计算结果和loss(是我自己没记住)
self.decoder_logit_train = tf.identity(decoder_ouputs.rnn_output)
self.decoder_predict_train = tf.argmax(self.decoder_logits_train,axis =-1,name='decoder_pred_train')
elif self.mode == 'decode‘:
使用beam_search
6.attention部分。
直接使用了LuongAttention。大概学习了LuongAttention和B-Attention的不同。
前者是乘法attention,后者是加法attention。
7.lstm中,
输出:概率分布向量,对应词典里每个词的一个概率,
softmax就是将数字都e一下,然后得到每个所占的比例
p(y|x) = softmax(Ws*ht),最后得到的是log(softmax(x))
8.李纪为用matlab写的代码:
MMI_rerank里有三个文件,其中一个perl看不懂,另外两个,分别是
tune_bleu,导入生成的N-best,导入p(source|target)生成的score中的(t|s)和(s|t),不太明白。
和tune_length,在N-best中,直接对于score的(t|s)和(s|t),进行加权,然后找到最好的。对于最好的最基本的函数可以学习一下。
9.
最终的目标表达式如下:
另外对于logP(y)的实现,我疑惑很大.称作anti_LM,用来惩罚较为通用的句子。
似乎没有实现。如果纯粹是每句话出现的概率,
说的是 输入全是0的时候得到P(T)
p(T)就是一句话存在的概率,也就是一个模型
最后使用U(T)代替P(T)
for i in range(0,len(translations)):
index=int(indexes[i]);
if index!=line_index:
t1=best_translation.find(" ");
t2=best_translation.find(" ",t1+1);
t3=best_translation.find(" 50001");
word_list=best_translation[t2:t3].strip().split(" ");
for word in word_list:
File.write(Dic[word]+" ");
File.write("\n")
line_index=index;
max_score=-10000;
best_translation ="";
current_score=(1-MMI)*float(t_given_s[i])+MMI*float(s_given_t[i])+Lambda*int(lengthes[i]);
logP(T)是 Training p(y) from Monolingual Data。encoder部分全部是null。(还有一种是通过别的机器学习模型先翻译个大概,然后用这部分语料也来训练。)
借鉴了论文Sennrich《 Improving Neural Machine Translation Models with Monolingual Data 》