Transformer详解(8)-基于transformer的英文到中文翻译模型

最新推荐文章于 2024-06-26 12:44:03 发布
最新推荐文章于 2024-06-26 12:44:03 发布
阅读量208 收藏
点赞数 3
分类专栏： NLP 深度学习 文章标签： transformer 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40566713/article/details/139293856
版权

1、数据使用TED，数据清洗
WIT是“转录和翻译演讲网络清单”的缩写，是 TED 演讲多语言转录的现成版本，可用于研究目的。

2、英文中文翻译模型搭建

3、模型训练

4、模型推理

Sophie'sCookingLab
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
transformer_news:基于transformer的中英文平行语料翻译系统
03-11
transformer_news:基于transformer的中英文平行语料翻译系统
机器翻译实战（英译汉）Transformer代码学习详解
九筒的博客
05-04 1万+
任务目标 基于Transformer实现英语翻译汉语。如有疏忽请多指教 数据 Hi. 嗨。 Hi. 你好。 Run. 你用跑的。 Wait! 等等！ Hello! 你好。 I try. 让我来。 I won! 我赢了。 Oh no! 不会吧。 Cheers! 乾杯! Got it? 你懂了吗？ He ran. 他跑了。 Hop in. 跳进来。 I lost. 我迷失了。 I quit. 我退出。 I'm OK. 我沒事。 Listen. 听着。 No way! 不可能！ No way! 没门！ Reall
基于Transformer实现机器翻译
ssdlh_122的博客
06-26 890
在自然语言处理的许多应用中，输入和输出都可以是不定长序列。例如，机器翻译中的输入可以是不定长的英语文本序列，输出可以是不定长的法语文本序列，如英语输入“They”、“are”、“watching”、“.”，对应的法语输出为“Ils”、“regardent”、“.”。当输入和输出都是不定长序列时，可以使用编码器—解码器（encoder-decoder）或seq2seq模型，这两个模型本质上都包含两个循环神经网络，即编码器和解码器。编码器用于分析输入序列，解码器用于生成输出序列。
基于Transformer的中英文翻译
m0_63642362的博客
12-05 4119
机器翻译的用途很广，比如政府国企在内容、新闻等上的多语言化，跨过公司协同业务开展，互 联网软件百度翻译，金山词霸，同声传译，搜索引擎跨语言搜索，翻译机等等。
Transformer详解，中文版架构图
人工智能曾小健
06-15 1万+
2.2.1 “编码器-解码器”架构Seq2Seq 思想就是将网络的输入输出分别看作不同的序列，然后实现序列到序列的映射，其经典实现结构就是“编码器-解码器”框架。编码器-解码器框架如图 2.7 所示。图2.7 编码器-解码器的基本框架在 Seq2Seq 思想应用于自然语言处理之初，编码器解码器主要使用的是 RNN 及其变体。针对输入，编码器会先遍历输入序列，根据循环神经网络的特性，每一层的输入都包含了当前层的输入和前一层的隐藏状态，而。
知识表示——Transformer模型解读(一)
hei653779919的博客
02-24 2703
知识表示——Bert模型解读
深度学习实践（一）基于Transformer英译汉模型
qq_1033275663的博客
04-09 953
数据集可以去网络上下载，下面的是train.txt文件部分内容，前面为英文，后面为繁体中文，中间以。作用：读取数据路径下的完整句子，并将其分割为一个一个的单词，并存到列表中返回。enumerate(可迭代元素)，返回的第一个值为索引，第二个值为元素。这里数据集是英文和繁体中文，所以第一步我们需要将繁体中文变为简体中文。将sentences里面每句话的每个单词组合形成一个新的列表。其他数据文件也相同。
Transformer 模型详解-transformer模型
最新发布
07-26
Transformer 模型详解_transformer模型
机器翻译-Transformer模型介绍.pdf
07-18
### 机器翻译与Transformer模型详解 #### 一、引言 机器翻译（Machine Translation, MT）是指使用计算机技术将一种自然语言（源语言）转换成另一种自然语言（目标语言）的过程。随着深度学习技术的发展，尤其是...
Tensorflow2.0 Transformer模型中英翻译.rar
08-28
tensorflow2.0版本 Transformer模型 中英翻译
NLP——基于transformer 的翻译系统
东方佑
08-14 2895
文章目录基于transformer 的翻译系统1. 数据处理1.1 英文分词1.2 中文分词1.3 生成字典1.4 数据生成器...
基于transformer的英译中翻译模型
North_D的博客
03-16 489
在机器翻译任务中，Transformer被应用于序列到序列（Sequence-to-Sequence）的学习框架，主要包括编码器（Encoder）和解码器（Decoder）两大部分。每一层包括多头自注意力机制（Multi-Head Self-Attention）和前馈神经网络（Position-wise Feed-Forward Networks, FFNs），同时每层之间加入残差连接（Residual Connections）和层归一化（Layer Normalization）。
Transformer：中英文翻译
bigcrab的博客
11-27 663
transformer模型架构起初是由Vaswani等人在2017年一篇名为 "Attention is all you need"的论文中提出来的；其本质是利用self-attention去代替循环神经网络RNN和卷积神经网络CNN的一种sequence-to-sequence，encoder-decoder神经网络模型
万字逐行解析与实现Transformer，并进行德译英实战（一）
iioSnail的博客
07-31 4655
1. Transformer各模块的逐行代码实现 2. Transformer逐行代码的详细注释 3. Transformer的训练和推理 4. 利用Transformer进行德译中实战
【Basic model】Transformer-实现中英翻译
zeiyousao的博客
11-26 2044
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
【自然语言处理（NLP）】基于Transformer的中-英机器翻译
m0_54754302的博客
10-23 1057
【自然语言处理（NLP）】基于Transformer的中-英机器翻译，基于百度飞桨开发，参考于《自然语言处理实践》所作。
Pytorch入门实战（5）：基于nn.Transformer实现机器翻译（英译汉）
热门推荐
iioSnail的博客
08-05 2万+
本文将使用Pytorch提供的nn.Transformer实现英文到中文的机器翻译任务。对nn.Transformer的讲解，可以参考我的另一篇博文Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解，建议先学习该文的CopyTask任务，然后再来看该篇就容易多了。......
"Transformer详解：从Attention到NLP领域经典模型
Transformer模型是一种基于自注意力机制的神经网络模型，它摒弃了传统的循环神经网络和卷积神经网络，完全由自注意力机制构成。Transformer模型的核心是多头注意力机制和前馈神经网络，它能够并行计算所有位置的输入...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值