Transformer系列 _7 机器翻译 笔记2021-06-29

最新推荐文章于 2023-10-20 18:06:49 发布
最新推荐文章于 2023-10-20 18:06:49 发布
阅读量151 收藏
点赞数
分类专栏： 笔记 文章标签： nlp 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38038430/article/details/118341393
版权

Neural Machine Translation

many to many
在这里插入图片描述
数据集 预处理
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
两者都可以，实际机器翻译是Word-level，因为数据集足够大
在这里插入图片描述
为什么采用两个tokenizers?
在这里插入图片描述
两者语言的字符是不一样的，不同的语言也有不同的分词
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

training seqtoseq model

在这里插入图片描述
decoder的初始状态是encoder的最后一个状态，decoder靠state（h,c）来知道前面的输入的英语句子
在这里插入图片描述
第一个输入必须是起始符，根据输出的概率p与y计算crossentropy 进行反向传播，第二次decoder的输入
在这里插入图片描述
重复上述过程

搭建过程
在这里插入图片描述

inference

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
重复
在这里插入图片描述

summary

在这里插入图片描述
只输出最后一个状态
在这里插入图片描述
在这里插入图片描述

how to improve

在这里插入图片描述
在这里插入图片描述
encoder 可以是双向的LSTM，但是decoder（文本生成器）是单向的

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

qq_38038430
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
人工智能_大模型007_CPU微调ChatGLM大模型_使用P-Tuning v2进行大模型微调_007_微调_002---人工智能工作笔记0142
添柴程序猿的专栏
02-23 304
这里的dev.json指的是,test_file测试数据,然后train_file也就是train.json指的是训练数据。我用的CPU所以没有添加NUM_GPUS,这个变量也是自己起名的,我用的默认的,官网提供的这个文件,然后修改的.这里注意我在/data/module建了两个文件夹,一个是train_output用来放训练后的输出模型的,现在还有langchain可以实现,扩展知识库,这个后面我们再说,我先用P-Tuning V2试试,这里我们先试着训练一下,我们用官方提供的训练数据进行训练.
人工智能_大模型006_CPU微调ChatGLM大模型_Prefix-Tuning微调原理_Prompt-Tuning/P-tuning微调原理_微调_001---人工智能工作笔记0141
最新发布
添柴程序猿的专栏
02-23 504
上面是prompt-tuning 和p-tuning的区别,可以看到其实,一个就是仅仅添加训练后的向量提示词,一个就是,直接把prompt-tuning的提示词再进行使用BiLSTM和MLP进行编码,编码以后把编码后的提示词,直接融入到模型本身的参数权重中去,这样消耗算力就多.如果是一组固定的,可读的文字,或者自然语言,那么他对,结果的影响是非常大的,那么这个时候,一般用第二种 方法,softprompt,叫做连续prompt,这个就是向量了,就是向量空间优化出来的提示.
transformer7
whaosoft143ai的博客
10-31 421
此外第二层 FFN 的 GEMM 采用的是 int32 的输出，因为它的 GEMM 输入是 ReLU 激活函数的输出结果，只包含正数，非对称，因此如果采用 int8 输出的 GEMM，将无法反量化为正确的浮点数结果。LightSeq 还针对机器翻译多个语向和多个测试集，测试了不同 batch size 下，LightSeq int8 推理相对于 LightSeq fp16 推理的加速比，实验同样是在单张 T4 显卡上进行的，采用的模型都是标准的 Transformer-Big。 whaosoft aiot
【AI实践案例】基于Encoder-Decoder模型的Word Level英语到Marathi神经机器翻译
小哲的博客
09-23 694
我们将通过单词水平逐步读取输入序列（英语句子）的单词，并保留在最后一次时间步hkh_khk​之后生成的LSTM网络的内部状态（假设该句子具有“ k”单词）。这些向量（状态hkh_khk​和ckc_kck​）被称为输入序列的编码，因为它们以向量形式编码（总结）整个输入。因为一旦读取了整个序列，我们将开始生成输出，因此每个时间步的编码器的输出（YiY_iYi​）被丢弃。此外，您还必须了解XiX_iXi​，hih_ihi​，cic_ici​。
Transformer系列 _8 Attention 笔记2021-06-29
qq_38038430的博客
06-29 90
Attention BLEU机器翻译的评判，越高翻译的越好。 用attention改进seq to seq模型 c0 是前面H 所有状态的加权平均，c0也能知道前面所有信息。 利用c0和x1’做输入得到s1，s1和前面的所有h状态做align（）得到一系列a1…am新的权重，然后再与状态h做加权平均。 attention 的时间复杂度o(mt)。 每条线对于一个a权重，越粗代表 两个状态越相似。 summary ...
李宏毅机器学习笔记-transformer
夏之微风的博客
09-23 425
transformer是什么呢？是一个seq2seq的model。具体应用如上图所示，输入和输出的序列长度不固定，由model自己决定。语音翻译指的是，直接输入一段语音信号，例如英文，输出的直接是翻译之后的中文。seq2seq如今已经是一个应用非常广泛的模型，可以应用于NLP的各种任务，如语义分析，语义分类，聊天机器人等。另外还有个值得说明的功能是做。。和是完全不一样的，一个是多分类，另一个是一个样本可以有多个标签。但是多标签的问题，可以用seq2seq模型来解决。
【自然语言处理（NLP）】基于Transformer的中-英机器翻译
m0_54754302的博客
10-23 1017
【自然语言处理（NLP）】基于Transformer的中-英机器翻译，基于百度飞桨开发，参考于《自然语言处理实践》所作。
李宏毅老师《机器学习》课程笔记-5 Transformer
宁萌Julie的博客
06-05 1146
详细介绍大名鼎鼎的 Transformer 。
Transformer浅读-笔记【李沐】
qq_46047460的博客
10-20 136
对论文《Attention Is All You Need 》个人理解以及借鉴网上的理解整理的个人笔记
深度学习-Transformer实战系列.rar
07-17
在"深度学习-Transformer实战系列.txt"这个文件中，可能包含了课程笔记、代码示例或者相关的学习资源链接，可以帮助你在理论学习的同时，通过实践巩固知识。 总的来说，这个深度学习-Transformer实战系列的视频教程...
pytorch_notebooks：PyTorch笔记本的集合，用于学习和练习深度学习
02-03
这些模型能够处理序列数据，理解文本语义，实现情感分析、机器翻译、问答系统等功能。 在"pytorch_notebooks"中，你可能会遇到以下主题： 1. **基础教程**：这部分将介绍如何在PyTorch中创建和操作张量，以及如何...
nlp_fundamentals：:blue_book:包含一系列动手笔记本，用于学习NLP的基础知识
02-03
在深入学习部分，我们可能会探讨深度学习在NLP中的应用，如seq2seq模型用于机器翻译，注意力机制在阅读理解中的作用，以及BERT等预训练模型如何革新了NLP的下游任务性能。这些现代的预训练模型利用大规模无标注文本...
斯坦福CS224n_自然语言处理与深度学习_笔记
07-15
5. **Transformer模型**：Transformer由Google在2017年提出，基于自注意力机制，解决了RNN并行计算效率低的问题，加速了训练过程，并在机器翻译等领域取得了突破性成果。 6. **预训练模型**：近年来，预训练模型如...
nlp-tutorial：教程：Python中的自然语言处理
02-03
- 可能包括文本分类（如垃圾邮件检测）、情感分析（如电影评论的情感极性）、机器翻译、问答系统等。 - 使用真实数据集进行训练和验证，了解模型性能的评估指标，如准确率、召回率、F1分数等。 通过这个“nlp-...
SSF（snapshot freeze） 心脏冷冻技术 （笔记1）
qq_38038430的博客
04-17 1844
智能 ? 自适应 冠脉追踪 = 研究目标 达到减少伪影 方法上（硬件）和数据重建 运动追踪跟拍系统，分析描述单个心跳周期内冠脉的运动特征 解决高心率问题 CTCA Image Quality Improvement by Using Snapshot Freeze Technique Under Prospective and Retrospective Electrocardiographic Gating（2015） SSF showed higher interpretability than st
基于GAN的合成医学图像增强技术可提高CNN在肝脏病变分类中的性能
qq_38038430的博客
03-20 1058
GAN-based Synthetic Medical Image Augmentation for increased CNN Performance in Liver Lesion Classification 利用GAN架构来合成高质量的肝脏病变ROI 医学成像领域的最大挑战是如何处理小的数据集和数量有限的带注释的样本，尤其是在采用需要标记数据和进行大量培训的监督机器学习算法时。 最常见的数据增强方法包括对数据集图像进行简单修改，例如平移，旋转，翻转和缩放。 该数据集由182个门户阶段的二维CT扫描
acgan
qq_38038430的博客
03-18 529
论文笔记 acgan(Conditional Image Synthesis with Auxiliary Classifier GANs) gan损失函数： acgan损失函数： D is trained to maximize LS + LC while G is trained to maximize LC - LS.AC-GAN学习与类标签无关的z表示形式 广义上讲， 发生器G的结构是一系列“反卷积”层，它们将噪声z和c类别转换为图像 判别器D是具有LeakyReLU非线性的深度卷积神经网络 证
Transformer系列 _1 数据处理 笔记2021-06-29
qq_38038430的博客
06-29 261
数据处理 课程来源 ： YouTube wangshuseng https://www.youtube.com/watch?v=NWcShtqr8kc&t=0s PPT ： https://github.com/wangshusen/DeepLearning 年龄是数值特征 性别是二分类特征 国籍是分类特征 对国籍进行one-hot encoding ，因为国籍之间是不能表示大小的。 注意将0保留 当作“未知”类别，比如一些缺失的数据。 例子： Why using one-hot
你知道2021-ICCV_TRANSREID_TRANSFORMER-BASED-OBJECT-RE-IDENTIFICATION这篇文章嘛
02-17
是的，作为一名大型语言模型，我对很多计算机科学领域的论文都有一定的了解，包括2021-ICCV_TRANSREID_TRANSFORMER-BASED-OBJECT-RE-IDENTIFICATION这篇文章。这是一篇关于基于Transformer的目标再识别方法的论文，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值