读Unsupervised NMT

最新推荐文章于 2024-11-05 16:45:25 发布
最新推荐文章于 2024-11-05 16:45:25 发布
阅读量104 收藏
点赞数
文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bassbian/article/details/120259558
版权

UNSUPERVISED NEURAL MACHINE TRANSLATION

github上总得给老师检查备一份

1. translation是基于word embedding。embedding的时候分别train两个language embedding。用一个小的配好对的字典（seed dictionary）做mapping，去找到两个language相对应的words，在这个过程中得到一个关于对应关系的线性函数来对应两个language embedding里面其他所有的词。相当于seed dictionary里面的是ground truth，通过ground truth来找对应关系，来对应其他不知道怎么对应的词。这一部分其实是另一篇paper讲cross-lingual word embedding的，一会就看！

2. 这篇文章侧重讲的是unsupervised translation。在得到两个language word-embedding之后，去做unsupervised training。文章里说主要用到denoising和on-the-fly backtranslation两个步骤，但我觉得看懂back translation就能懂为什么叫unsupervised了。比如用language L1里面的一句S1翻译成language L2里面对应意思的句子S2。在training过程中，S1随便被翻译成S2'，但不告诉系统真正的S2是什么，而是再用得到的S2'去翻译回L1语言里面对应的S1'。通过比较S1和S1'的不同来更新参数，来达到训练效果。我觉得**unsupervised**指的就是中间翻译成的S1'的那步，**backtranslation**指的应该就是从S2'翻译回S1'那步。

3. 顺便记一下denoising。就是人为添加的noise，通过减小语序对翻译结果的影响，从而提高翻译质量。denoising就是随机打乱（交换）S1里面一般的词的顺序。

最后的最后，是一个打赏链接

铁三运动员
关注
Lecture4---Unsupervised Learning Neural Networks 无监督神经网络
05-22
绝对经典的神经网络ppt，看了收获很大，风格也很好，内容讲得很透彻，初学神经网的一定要好好看看～
Unsupervised Neural Machine Translation with Weight Sharing
小小鸟要高飞
10-05 1118
Unsupervised Neural Machine Translation with SMT as Posterior Regularization知识点摘要介绍模型结构定向self-attention权重共享 这是来自于中科院的的一篇文章，发表于2018年ACL。 文章链接： Unsupervised Neural Machine Translation with Weight Sharin...
Multilingual Unsupervised NMT using Shared Encoder and Language-Specific Decoders
小小鸟要高飞
10-08 812
Multilingual Unsupervised NMT using Shared Encoder and Language-Specific Decoders知识点摘要引言本文方法 这是2019ACL的一篇文章。 本文借鉴《Unsupervised Neural Machine Translation》一文的思想，只是把两种语言之间的翻译改为四种语言之间的翻译。效果比较好而已。 文章链接： M...
一文概述2017年深度学习NLP重大进展与趋势
机器之心
12-15 2617
作者通过本文概述了 2017 年深度学习技术在 NLP 领域带来的进步，以及未来的发展趋势，并与大家分享了这一年中作者最喜欢的研究。2017 年是 NLP 领域的重要一年，深度学习获得广泛应用，并且这一趋势还会持续下去。   近年来，深度学习（DL）架构和算法在图像识别、语音处理等领域实现了很大的进展。而深度学习在自然语言处理方面的表现最初并没有那么起眼，不过现在我们可以看到深度学习对 NLP
UNSUPERVISED MACHINE TRANSLATION USING MONOLINGUAL CORPORA ONLY 阅读笔记 无监督机器翻译
yellow_red_people的博客
05-22 1018
UNSUPERVISED MACHINE TRANSLATION USING MONOLINGUAL CORPORA ONLY 时间会议：2018 ICLR 作者：Guillaume Lample † ‡ , Alexis Conneau † , Ludovic Denoyer ‡ , Marc’Aurelio Ranzato † † Facebook AI Research 摘要：...
unsupervised_class2.7z
03-17
【标题】"unsupervised_class2.7z" 指的是一个压缩文件，其中包含了与无监督学习相关的第二部分课程或数据集。无监督学习是机器学习的一个分支，它处理的是没有预先标记或分类的数据，目标是通过发现数据中的内在...
unsupervised_class3.7zunsupervised_class3.7z
03-17
【标题】"unsupervised_class3.7z" 指的可能是一个关于无监督学习的压缩文件，其中包含了第三类或第三阶段的无监督学习方法或者数据集。无监督学习是机器学习的一个重要分支，它主要处理的是没有预先标记类别或目标...
deep unsupervised learning
01-28
深度无监督学习是机器学习领域的一个重要分支，它涉及到让计算机从数据中学习模式和结构，而无需任何人工标注或指导。无监督学习对于发现数据内部的结构非常有用，比如将复杂的输入数据转换为更简单的表示形式，或者...
Unsupervised-learning.rar_unsupervised
07-14
无监督学习是机器学习的一个重要分支，主要关注在没有预先标记或分类的数据集上发现模式。在这种学习方式中，算法必须自己找出数据的内在结构或群组，这通常通过聚类来实现。在这个主题中，我们将深入探讨无监督学习...
unsupervised_class.7z
03-17
在"unsupervised_class.7z"这个压缩包中，我们很可能会找到一些关于无监督学习算法、理论以及应用的资料，这对于我们理解和实践无监督学习具有极大的价值。 无监督学习的主要任务包括聚类和降维。聚类是将数据集中...
Phrase-Based & Neural Unsupervised Machine Translation
小肥柴不是小废柴的博客
09-25 1985
Phrase-Based & Neural Unsupervised Machine Translation 论文：Phrase-Based & Neural Unsupervised Machine Translation 代码：Github 这篇Paper是EMNLP 2018的best paper，用于实现无监督机器翻译，不过无监督机器翻译的思想早就有研究者提出来了，这篇pa...
无监督神经机器翻译（UNSUPERVISED NEURAL MACHINE TRANSLATION）学习笔记
qq_38768581的博客
12-06 3762
无监督神经机器翻译学习笔记几个月前MikelArtetxe和KyunghyunCho等人提出了一种极具潜力的无监督神经机器翻译（UNSUPERVISED NEURAL MACHINE TRANSLATION）模型，这个模型突破了原有的神经机器翻译需要有足够大的平行语料库的限制，创造了一种可以使用两个单语语料库进行训练的翻译模型，克服了平行语料库不足的难题。同时翻译过程应用到了识别语义的思想，可以被广
[文献阅读]—一篇不错的低资源机器翻译综述(Neural Machine Translation for Low-Resource Languages: A Survey)
jokerxsy的博客
12-06 3435
前言 论文地址：https://arxiv.org/abs/2106.15115v1 时间线 1947：Warren Weaver提出了机器翻译的可能性 1954：IBM发明了word-for-word翻译系统 技术 数据增强（data augmentation） 主要包含：1. 基于单词和短语替换产生伪平行语料的方法；2. 基于回译产生伪平行语料的方法；3. 基于多语言预训练模型挖掘平行语料的方法 基于单词、短语替换的数据增强（坑1） 利用双语词典，替换选定句子的所有单词或稀有词，产生对应翻译[119]
Transformer究竟是什么？预训练又指什么？BERT
ZJQ的博客
11-05 48
Transformer是一种基于自注意力机制（Self-Attention Mechanism）的神经网络架构，它最初是为解决机器翻译等序列到序列（Seq2Seq）任务而设计的。这个模型可以作为一个通用的语言表示工具，为后续的各种下游任务（如情感分析、文本分类、命名实体识别、问答系统等）提供丰富的语言表示基础。这些模型在BERT的基础上进行了各种改进和优化，如增加模型规模、使用不同的训练策略等，从而进一步提高了语言模型的性能和应用范围。来同时学习文本的上下文信息，从而实现了对句子结构的深入理解。
语言模型的评测
最新发布
qzhqbb的博客
11-05 600
在内在评测中，测试文本通常由与预训练中所用的文本独立同分布的文本构成，。最为常用的内部评测指标是困惑度（Perplexity）困惑度是衡量语言模型对测试文本预测能力的一个指标，它反映了模型对测试数据的“困惑”程度。困惑度越低，意味着模型对测试文本的预测越准确，语言模型的性能越好。
基于Python的自然语言处理系列（50）：Soft Prompt 实现
不想宅的冷同学
11-01 746
Soft Prompt 技术来源于论文。它通过在模型输入嵌入层添加可训练的软提示嵌入（soft prompt embeddings），使得我们可以仅微调这些新增嵌入，达到适应新任务的目的。这种方法不仅保留了原始模型的完整性，还大幅减少了训练所需的参数和时间成本。为了实现 Soft Prompt，我们定义一个类，该类包含一个可训练的嵌入层，用于存储软提示。通过将这层嵌入与输入嵌入拼接，我们可以在保持预训练模型不变的情况下，为模型提供额外的信息。
【大语言模型】ACL2024论文-06 探索思维链COT在多模态隐喻检测中的应用
11-02 1649
本文探讨了在广告和互联网迷因（meme）中常见的隐喻检测问题。由于互联网迷因的自由形式，导致缺乏高质量的文本数据。隐喻检测需要对文本和视觉元素进行深入解读，并需要大量的常识知识，这对语言模型构成了挑战。为了应对这些挑战，作者提出了一个紧凑的框架C4MMD，该框架利用思维链（Chain-of-Thought, CoT）方法进行多模态隐喻检测。具体来说，该方法设计了一个三步过程，灵感来自CoT，从多模态大型语言模型（MLLMs）中提取并整合知识到较小的模型中。
BERT的中文问答系统29（使用多线程或多进程来处理模型训练任务）
weixin_54366286的博客
11-05 232
使代码在进行模型训练时界面不卡顿，我们使用多线程或多进程来处理模型训练任务。这样可以避免主线程被阻塞，保持界面的响应性。我们将使用Python的threading模块来实现这一点。 以下是优化后的代码： import os import json import jsonlines import torch import torch.optim as optim from torch.utils.data import Dataset, DataLoader from transformers import
Audio-Language Models
xw555666的博客
11-05 558
Audio Flamingo是由NVIDIA研究人员提出的一种新型音频语言模型，它在音频理解领域展示了显著的能力。Audio Flamingo的出现标志着音频语言模型进入了一个新的阶段。未来，我们可以期待模型规模的进一步扩大、多模态融合的深化、实时处理能力的提升、个性化和定制化的发展，以及伦理和隐私考量的重视。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值