（Dual learning）对偶学习——视频笔记

最新推荐文章于 2022-05-30 17:12:44 发布
最新推荐文章于 2022-05-30 17:12:44 发布
阅读量4.6k 收藏 8
点赞数 2
分类专栏： 机器学习与神经网络推理 文章标签： 对偶学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuyuemaicha/article/details/71698837
版权

Dual Learning解决的问题： 带标签的训练数据少且高昂的成本，尽可能的利用无标签数据

Dual Learning 思想
这里写图片描述

Dual Learning在NMT中的应用
1.算法思想
这里写图片描述
2.负例
这里写图片描述
3.正例
这里写图片描述
4.实验设置（需要先预训练）
这里写图片描述

Dual Learning的扩展（可以扩展到多个有联系的模型）
这里写图片描述

自编码中Dual Learning的思想
这里写图片描述

GAN中Dual Learning的思想：
这里写图片描述
有标签的数据训练运用Dual Learning的两种运用方法：
（1）两个model同时做训练
这里写图片描述
（2）通过bayes公式转化
这里写图片描述

Dual Learning的提高原因（可大致将其作为一种loss的正则，使模型更加一般化）
这里写图片描述

六月麦茬
关注
专栏目录
9/17 Dual learning
qq_40723205的博客
09-17 1016
深度学习之所以取得成功，一个非常重要的因素是大数据（大规模的带标签的数据） 首先，人工标注获取标签的代价很高。 其次，在很多任务中，我们没办法收集到大规模的标注数据，例如在医疗中。 为了使深度学习能够取得更广泛的成功，我们需要降低其对大规模标注数据的依赖性。为了解决这个问题，我们提出了一种新的学习范式，我们把它称作对偶学习。 很多人工智能的应用涉及两个互为对偶的任务，例如机器翻译中从中文到英文翻译和从英文到中文的翻译互为对偶、这些互为对偶的人工智能任务可以形成一个闭环，使从没有标注的数据中进行学习.
论文阅读——Dual Learning for Machine Translation
liuy9803的博客
03-09 928
https://arxiv.org/pdf/1611.00179.pdf 用于机器翻译的双重学习 Github：https://github.com/microsoft/DualLearning https://github.com/yistLin/pytorch-dual-learning 论文提出一种双重学习机制，可以从无标记的数据中自动学习，解决了人工标记...
Dual Learning for Machine Translation
weixin_41696015的博客
03-10 234
https://github.com/yistLin/pytorch-dual-learning 本文作者提出了对偶学习可以更高效的利用单语数据。利用这种对偶学习，单语数据可以扮演和平行语料一样的角色，同时减少训练阶段对平行语料的依赖。具体来说，翻译模型的对偶学习可以描述成以下两个agent的游戏。 第一个agent只会A语言，他把一个用A语言写的信息通过有噪声的通道传给第二个agent，这个通道用翻译模型把A语言转换成B语言。 第二个agent只会B语言，他收到了翻译成B语言的信息。接着他检查信息然后告
【dual learning】——Dual Learning for Machine Translation
zeiyousao的博客
12-19 407
本文主要描述的是NMT中的一些Dual learning的方法，其中主要是基于半监督和无监督下的场景。 回顾back-translation的方法： Principle of Dual Reconstruction 这里以机器翻译为例，说明半监督条件下的Dual learning。 图中Bob只说语言X，Alice只说语言Y，并且有两个翻译模型。实际上，我们并不确保两个机器翻译模型的正确性。但是我们至少可以通过以下手段判断翻译模型是否存在问题： 1.Bob向模型fff说一句话xxx，因此得到了yˉ=f(x
#Paper Reading# Dual Learning for Machine Translation
John159151的专栏
12-22 1796
论文大体内容： NMT（neural machine translation）机器翻译模型所需标注的训练数据量特别大的问题，但大量的人工标注的训练数据往往意味着大量的花费，因此本文针对这一问题，提出一个对偶模型，dual-NMT，能够使用unlabel的数据也能达到一个很好的效果。
跨模态行人重识别：Dynamic Dual-Attentive Aggregation Learningfor Visible-Infrared Person Re-Identification学习笔记
weixin_43898295的博客
05-30 1371
论文链接：Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification 摘要 通过挖掘 VI-ReID 的模态内部分级和跨模态图级上下文线索，提出了一种新颖的动态双注意聚合 (DDAG) 学习方法。提出了一个模态内加权部分注意模块，通过将领域知识强加于部分关系挖掘来提取有区别的部分聚合特征。为了增强对噪声样本的鲁棒性，引入了跨模态图结构化注意力，以加强具有跨两种模态...
机器学习——分类器算法对比（KNN、SVM、朴素贝叶斯、随机森林、Adaboost）（学习笔记）
热门推荐
weixin_43870329的博客
06-01 2万+
目录k邻近(KNN)基础算法实例优缺点代码实现支持向量机(SVM)基础算法对偶问题松弛变量核函数代码实现朴素贝叶斯算法基本算法优点代码实现过拟合(Over fitting)以及欠拟合(Under fitting)集成学习方差和偏差模型的偏差和方差是什么？bagging的偏差和方差boosting的偏差和方差模型的独立性算法对比 k邻近(KNN) 基础算法 KNN是通过测量不同特征值之间的距离进行分类。它的的思路是： 如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样 本中的大多数属于某一个类别，
machine learning学习笔记（二）-sklearn 库中常用算法的学习
AmberPro的博客
08-17 1069
sklearn常见算法简介 Logistic Regression Background  Maximum Likelihood Logistic Function Normal Distribution Regularization Overfitting 算法 将原本输出结果范围可以非常大的θTX 通过sigmoid函数映射到(0,1)，从而完成概率的估测。而直观地在二维空间理解逻辑...
svm 交叉验证 python_Python机器学习笔记：SVM（4）——sklearn实现
weixin_39637646的博客
12-04 1799
完整代码及其数据，请移步小编的GitHub传送门：请点击我如果点击有误：https://github.com/LeBron-Jian/MachineLearningNote上一节我学习了SVM的推导过程，下面学习如何实现SVM，具体的参考链接都在第一篇文章中，SVM四篇笔记链接为：对SVM的概念理清楚后，下面我们对其使用sklearn进行实现。1，Sklearn支持向量机库概述我们知道SVM相对感...
李航《统计学习方法》笔记和 Python 实现（不基于任何代数运算库）+源代码+文档说明
最新发布
12-01
* 第 2 章 [感知机](./chapter_2_perceptron/) [\[感知机代码-原始形式\]](./chapter_2_perceptron/Perceptron.py) [\[感知机代码-对偶形式\]](./chapter_2_perceptron/Dual-form_Perceptron.py) * 第 3 章 [k近邻...
dual learning for machine translation
u011961856的专栏
09-10 553
对于翻译系统，如语言A翻译到语言B，通常需要大量的语言对来训练神经机器翻译，而数据量的增大会大大的增加成本。本文通过构建两个神经翻译网络，θAB和θBA，这两个网络分别用于将语言A翻译到语言B和语言B翻译到语言A。文章先采用少量的语言对训练好这两个模型。之后，采用无监督学习，训练这两个模型，具体为将语言A输入网络θAB，同时将θAB的输出输入到网络θBA中，再采用强化学习的思想，对网络θAB和网络的
语音合成（speech synthesis）方向一：双重学习Dual Learning
低调奋进
11-27 1502
声明：工作以来主要从事TTS工作，平时看些文章做些笔记。文章中难免存在错误的地方，还望大家海涵。平时搜集一些资料，方便查阅学习：TTS 论文列表 http://yqli.tech/page/tts_paper.html TTS 开源数据 http://yqli.tech/page/data.html 写在文前：该方向不是我研究的方向，只是凭着兴趣阅读相关文章，对应的实验没有时间和资源做（不能占用公司的资源）。 1 背景 世界存在6000多种语言，按照工业标准来制作高质量的TTS和ASR,每种语言获取训
机器学习入门（十五）：SVM——对偶学习算法
米饭超人的专栏
03-12 1656
对偶问题 上一篇我们用 x 和 y 各代表一个维度，用 z=f(x,y) 和 g(x,y)=0 分别代表一个二元函数和一个一元函数。这样做是为了和图形对比的时候能看得清楚，为了可视化方便。 一般情况下，我们就用 x 代表一个函数的自变量。这个 x 本身可以是多维的。 而且，同一个函数可能同时既有等式约束条件，又有不等式约束条件。 主问题 现在...
论文笔记之：DualGAN: Unsupervised Dual Learning for Image-to-Image Translation
a1424262219的博客
06-12 638
DualGAN: Unsupervised Dual Learning for Image-to-Image Translation 2017-06-12 21:29:06 　　引言部分： 　　本文提出一种对偶学习模式的 GAN 网络结构来进行 image to image translation。现有的图像之间转换的方法，大部分都是需要图像对的方法，但是实际上...
论文阅读：Dual Supervised Learning
cassiePython的专栏
07-11 2805
论文阅读：Dual Supervised Learning 概述： 许多有监督的学习任务是对偶的，比如从英语翻译成汉语，从汉语翻译成中文；再如图像的分类和图像的生成。但是人们总是分别训练两个模型， 没有充分利用对偶的双方之间存在的关系，本文提出可以同时训练对偶的模型，且与分别训练两个模型相比可以提高性能。 介绍： 两个对偶问题可以看成空间到的映射以及到的映射。使用概率语言描述
对偶性解法，赋予强化学习更多可能性！
谷歌开发者
08-17 739
文 / 研究员 Ofir Nachum 和 Bo Dai，Google Research强化学习 (RL) 是一种用于训练智能体制定在复杂环境中成功的决策序列的常用方法。如机器人导航，智...
第20课：SVM——对偶学习算法
YeJuliaLi的博客
09-22 396
对偶问题 上一篇我们用 x 和 y 各代表一个维度，用 $z = f(x,y)$ 和 $g(x,y) = 0$ 分别代表一个二元函数和一个一元函数。这样做是为了和图形对比的时候能看得清楚，为了可视化方便。 一般情况下，我们就用 $x$ 代表一个函数的自变量。这个 $x$ 本身可以是多维的。 而且，同一个函数可能同时既有等式约束条件，又有不等式约束条件。 主问题 现在我们考虑在 $d$ 维空间上有 ...
论文阅读：Dual Learning for Machine Translation
cassiePython的专栏
07-11 5849
论文阅读：Dual Learning for Machine Translation 问题提出： 目前在机器翻译的领域，神经机器翻译（NMT）快速发展，取得了很好的效果，但是为了得到一个好的NMT的模型，需要大量的人工标记的训练集即双语的语句对。 人工标记大量的数据费时费力，本文的目的就是提出一种方案（dual learning）来解决这个问题，并且可以得到相比于NMT模型更好的效果
对偶学习：无监督反馈提升翻译、图像处理与情感分析
对偶学习（Dual Learning）的概念首次在ICML 2017会议上由Yingce Xia等人提出的论文"Dual Supervised Learning"中详细介绍。该论文由来自中国科学技术大学和微软亚洲研究院的研究人员共同完成，并由Chunyuan Li进行...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值