机器翻译Task2笔记

最新推荐文章于 2024-08-14 10:17:22 发布
最新推荐文章于 2024-08-14 10:17:22 发布
阅读量135 收藏
点赞数 1
文章标签： 机器翻译 笔记 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84032548/article/details/140507206
版权

模型的概念

RNN模型在每个时间步接收一个字的输入，生成隐藏状态和输出，再将隐藏状态与下一个字输入到模型中，重复此过程。

GRU（门控循环单元）是RNN的变体，能够有效捕捉长序列语义关联，缓解梯度消失或爆炸现象，其核心结构由更新门和重置门两部分组成。

对于数据处理的思路


记住我们正常的神经网络是无法直接识别中文或者英文的字符串输入的。所以这一步我们的目标只有一个,那就是将数据变成神经网络可以识别到的数据类型。

因此在这个阶段,我们要做的是:

数据清洗
构建数据集类型TranslateDataset
分词构建词表
将术语词典引入到训练集中

triumph159
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer学习笔记
01-06
机器翻译和数据集 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度...
《动手学深度学习》task4——机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer笔记
01-06
《动手学深度学习》task1_1 线性回归 《动手学深度学习》task1_2 Softmax与分类模型 《动手学深度学习》task1_3 多层感知机 ...《动手学深度学习》task4_1 机器翻译 《动手学深度学习》task4_2 注意力机制和Seq2se
Datawhale AI 夏令营2期机器翻译 Task01 学习笔记
SanLoveCode的博客
07-14 132
1. 机器翻译任务的发展历程：规则（人工制定）、统计（单词与词组）、神经网络（LSTM\Transformer）万事开头难，这个入门夏令营真好，先尝到甜头，把baseline跑出来，然后再想着如何优化。跑通baseline，体验NLP模型解决问题的流程，基本了解赛题要求，理解赛题场景。2. 训练的数据格式：训练集和术语词典的格式都是 英文+对应的中文。比赛也好，现实问题也罢，先了解背景和解决问题的工具。打卡第一个分数，尽量写笔记。模型训练相关的数据格式。机器翻译任务的发展历程。
基于术语词典干预的机器翻译挑战赛笔记Task2 #Datawhale AI 夏令营
qq_23311271的博客
07-17 676
基于术语词典干预的机器翻译挑战赛笔记Task2
Datawhale AI夏令营【机器翻译】基于术语词典干预的机器翻译挑战赛 Task2笔记 -本地端部署补充
Reinhard_Heinz的博客
07-17 871
从零入门NLP竞赛是 Datawhale 2024 年 AI 夏令营第二期的学习活动（“NLP”方向），基于讯飞开放平台“基于术语词典干预的机器翻译挑战赛”开展的实践学习。
基于术语词典干预的机器翻译挑战赛笔记 Task3 #Datawhale AI 夏令营
qq_23311271的博客
07-20 1053
基于术语词典干预的机器翻译挑战赛笔记 Task3
Datawhale AI 夏令营 task2笔记
m0_73375934的博客
07-15 1059
结构基本上和编码器是一致的，在基于循环神经网络的翻译模型中，解码器只比编码器多了输出层，用于输出每个目标语言位置的单词生成概率，而在基于自注意力机制的翻译模型中，除了输出层，解码器还比编码器多一个编码­解码注意力子层，用于帮助模型更好地利用源语言信息。具体来说，给定源语言序列经过编码器输出的向量序列。由于 RNN 的循环过程在每个时间步都要求一个输入单词，为了启动解码过程，一般会使用一个保留的特殊符号 “[Start]” 作为翻译开始的标记送入到 RNN 解码器当中并解码出目标语言序列的第一个单词。
datawhale AI 夏令营 task2笔记
2301_81122394的博客
07-17 285
基于术语词典干预的机器翻译挑战赛（作为小白以及刚入学的大学生，不具备很强的技术力，只是在照猫画虎之后谈一谈收获）赛事概要。
Datawhale AI 夏令营 task2 笔记
qq_38164751的博客
07-17 123
然而，翻译的传统标准“信、达、雅”中，“雅”仍是机器翻译追求的理想目标。综上所述，机器翻译系统的优化涉及预处理、模型构建和译文质量评价等多个环节，每个环节都至关重要。预处理包括数据清洗、格式统一、分词、构建词汇表和词向量等，这些步骤确保了输入文本的质量和信息的有效捕捉。进一步地，通过序列截断、填充、添加特殊标记以及数据增强技术，模型的鲁棒性和泛化能力得到增强，以应对复杂和未知的词汇。翻译质量通过人工、有参考和无参考的自动评价方式评估，这些方法各有优势，适用于不同场景。
Datawhale AI 夏令营 NLP方向 Task2笔记
Meteora1024875的博客
07-17 111
该笔记比较baseline2与1相比进行了哪些改进，以及对后续优化的启发。
Datawhale AI 夏令营 第二期 task2笔记
m0_74445985的博客
07-17 635
在机器翻译的发展进程中，译文质量评价有着非常重要的作用。不论在系统研发的反复迭代中，还是在诸多的机器翻译应用场景中，都存在大量的译文质量评价环节。例如，在电视系统上为了便于视频的传播，会使用各种编码器将视频编码成数字信号，在客户端，相应的解码器组件会把收到的数字信号解码为视频。正是由于 BLEU 等自动评价方法的提出，机器翻译研究人员可以在更短的时间内得到译文质量的评价结果，加速系统研发的进程。# 训练模型，传入模型、训练集和验证集的数据加载器、优化器、损失函数、训练轮次和梯度裁剪阈值。
动手学深度学习 Task4 笔记
01-06
机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer 2.15-2.19 一、机器翻译及相关技术 定义： 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译...
《动手学深度学习》笔记 Task04 机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer
01-07
机器翻译和数据集 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度...
动手学DL|Task4 机器翻译及其技术+注意力机制与Seq2seq模型+Transformer
01-07
机器翻译及其技术 学习笔记 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源...
C++笔记5•内存管理•
qq_64446190的博客
08-12 1085
内存管理
第二十五天培训笔记
weixin_70756988的博客
08-12 1367
选项表示将所有的依赖和代码打包到一个单独的文件中，这样生成的可执行文件更便于。、设置清华镜像站（从国内下载安装包，提高下载和安装工具速度）文件夹中找到生成的可执行文件。可以将这个可执行文件拷贝。在不替换原有代码的情况下，应对数据库软件的升级）到其他机器上（即使该机器没有安装 Python。数据框架，用于保存从数据库中读取的数据）的工具，通过这个工具，就可以。上面命令执行失败：执行该命令。完成打包后，会在当前目录的。）修改为清华大学的镜像源。有完整的读取数据的工具，是知名的数据分析工具，
C++学习笔记----2、使用C++进行优雅编程（十）---- 格式化
weixin_71738303的博客
08-14 1180
许多人因为编程风格的问题被搞得焦头烂额，就因为对于在if中使用几个空格争论不休，导致友谊的小船说翻就翻。如果公司有相应的编程规范，只能说你比较幸运。因为有可能你不喜欢这些规范，但做为一个正常人来讲，至少有规范可循，而不用因为这些东东而陷于无谓的争执之中。如果确实没有编程规范，我建议还是建立这样的编程规范为好，编程规范可以让大家使用统一的命名方式，格式化的规则等等，使代码统一化，易于阅读和理解。当然了，也有一些自动化工具，在将代码提交到版本控制系统之前，依据特定的规则进行格式化。
多线程学习之ThreadLocal详细笔记
最新发布
qq_40623672的博客
08-14 778
多线程学习之ThreadLocal详细笔记
MIPI CSI-2笔记
07-27
- *1* *3* [MIPI CSI-2笔记（1） -- CSI-2概览和CSI-2的分层架构](https://blog.csdn.net/vivo01/article/details/126241781)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值