Hiweir的博客

【代码】自注意力（self_attention）和位置编码。

【代码】机器翻译之多头注意力（MultiAttentionn）在Seq2Seq的应用。

将pred_seq, label_seq分别进行空格分隔#获取pred_seq, label_seq的长度for n in range(1, k+1): #n的取值范围， range（）左闭右开。

seq2seq的训练代码：pytorch中训练代码一般都相同类似。

【代码】创建Seq2Seq的编码器、解码器。

数据预处理#判断标点符号前面是否有空格?= ' '#替换识别不了的字符，替换不正常显示的空格，将大写字母变成小写#在单词和标点之间插入空格return ''.join(out) #合并out#测试：数据预处理go . va!hi . salut!run!cours!run!courez!who?qui?wow!ça alors!#定义函数：词元化"""text:传入的数据文本。