如何用TensorFlow训练聊天机器人（附github）

前言

        实际工程中很少有直接用深度学习实现端对端的聊天机器人，但这里我们来看看怎么用深度学习的seq2seq模型来实现一个简易的聊天机器人。这篇文章将尝试使用TensorFlow来训练一个基于seq2seq的聊天机器人，实现根据语料库的训练让机器人回答问题。

seq2seq

        关于seq2seq的机制原理可看之前的文章《深度学习的seq2seq模型》。

循环神经网络

        在seq2seq模型中会使用到循环神经网络，目前流行的几种循环神经网络包括RNN、LSTM和GRU。这三种循环神经网络的机制原理可看之前的文章《循环神经网络》 《LSTM神经网络》 《GRU神经网络》。

训练样本集

        主要是一些QA对，开放数据也很多可以下载，这里只是随便选用一小部分问题和回答，存放的格式是第一行为问题，第二行为回答，第三行又是问题，第四行为回答，以此类推。

数据预处理

        要训练就肯定要将数据转成数字，可以用0到n的值来表示整个词汇，每个值表示一个单词，这里用VOCAB_SIZE来定义。还有问题的最大最小长度，回答的最大最小长度。除此之外还要定义UNK、GO、EOS和PAD符号，分别表示未知单词，比如你超过 VOCAB_SIZE范围的则认为未知单词，GO表示decoder开始的符号，EOS表示回答结束的符号，而PAD用于填充，因为所有QA对放到同个seq2seq模型中输入和输出都必须是相同的，于是就需要将较短长度的问题或回答用PAD进行填充。

limit = {    
'maxq': 10,    
'minq': 0,    
'maxa': 8,    
'mina': 3
}

UNK = 'unk'
GO = '<go>'
EOS = '<eos>'
PAD = '<pad>'
VOCAB_SIZE = 1000

按照QA长度的限制进行筛选。

def filter_data(sequences):
    
      filtered_q, filtered_a = [], []
    
      raw_data_len = len(sequences) // 2

    


    
      for i in range(0, len(sequences), 2):
        
          qlen, alen = len(sequences[i].split(' ')), len(sequences[i + 1].split(' '))        
          if qlen >= limit['minq'] and qlen <= limit['maxq']:            
              if alen >= limit['mina'] and alen <= limit['maxa']:
                
                  filtered_q.append(sequences[i])
                
                  filtered_a.append(sequences[i + 1])
    
      filt_data_len = len(filtered_q)
    
      filtered = int((raw_data_len - filt_data_len) * 100 / raw_data_len)
    
       print(str(filtered) + '% filtered from original data')