【自然语言处理三】SequenceToSequence 模型

最新推荐文章于 2024-07-12 17:15:01 发布

moo611

最新推荐文章于 2024-07-12 17:15:01 发布

阅读量859

点赞数

文章标签：自然语言处理深度学习人工智能

本文链接：https://blog.csdn.net/moo611/article/details/122234843

版权

1.简介

Seq2Seq技术，全称Sequence to Sequence，该技术突破了传统的固定大小输入问题框架，开通了将经典深度神经网络模型（DNNs）运用于在翻译，文本自动摘要和机器人自动问答以及一些回归预测任务上,并被证实在英语－法语翻译、英语－德语翻译以及人机短问快答的应用中有着不俗的表现。

2.核心思想

Seq2Seq解决问题的主要思路是通过深度神经网络模型（常用的是LSTM，长短记忆网络，一种循环神经网络）http://dataxujing.coding.me/深度学习之RNN/。将一个作为输入的序列映射为一个作为输出的序列，这一过程由编码（Encoder）输入与解码（Decoder）输出两个环节组成, 前者负责把序列编码成一个固定长度的向量，这个向量作为输入传给后者，输出可变长度的向量。

在这里插入图片描述

3.代码实现

(1)训练代码

import numpy as np
import tensorflow as tf
from tensorflow import keras
from keras import layers
batch_size=64
epochs=30
latent_dim=128
num_samples=10000
data_path='../dataset/fra-eng/fra.txt'


#prepare data
input_texts=[]
target_texts=[]
input_characters=set()
target_characters=set()

with open(data_path, 'r', encoding='utf-8') as f:
    lines=f.read().split('\n')

for line in lines[: min(num_samples, len(lines) - 1)]:
    input_text, target_text, _ = line.split("\t")
    # We use "tab" as the "start sequence" character
    # for the targets, and "\n" as "end sequence" character.
    target_text = "\t" + target_text + "\n"
    input_texts.append(input_text)
    target_texts.append(target_text)
    for char in input_text:
        if char not in input_characters:
            input_characters.add(char)
    for char in target_text:
        if char not in target_characters:
            target_characters.add(char)

input_characters=sorted(list(input_characters))
target_characters=sorted(list(target_characters))
num_encoder_tokens=len(input_characters)
num_decoder_tokens=len(target_characters)
max_encoder_seq_length=max([len(txt) for txt in input_texts])
max_decoder_seq_length=