【cs224n-16】Low Resource Machine Translation

最新推荐文章于 2023-11-11 00:30:28 发布
VIP文章 最新推荐文章于 2023-11-11 00:30:28 发布
阅读量440 收藏
点赞数
分类专栏： CS224N
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011613991/article/details/107300239
版权

         神经机器翻译（NMT）的成功往往依赖于大量高质量的双语语料作为训练数据。如果是蒙古语、尼泊尔语这些小语种，无法提供足够多的双语数据，更极端的现实情况是，有些语言几乎没有任何双语预料，这种情况下NMT就无能为力了。

    松散定义:当并行句子数量在10,000或更少时，可以认为语言对资源不足。注:现代NMT系统现在有数亿个参数!

    挑战: 

            数据:  来源数据、评估数据集

            建模：不清晰的学习范式、领域适应、模型泛化能力

  Why Low Resource MT Is Interesting?

  •    它是关于用较少标记的数据进行学习。
  •    它是关于建模结构化输出和组合学习。
  •    这确实是一个需要解决的问题

  数据收集的挑战

  •  非常昂贵和缓慢。
  •  很难产生高质量的翻译

 监督式学习

半监督学习

最低0.47元/天 解锁文章
FB1024
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CS224n-2019
04-20
斯坦福最新的自然语言处理课程《CS224n-2019》，文件包含课程，中英字幕，作业，课件等。下载链接在"cs224n-2019.txt"里的百度网盘地址
Low-resource Neural Machine Translation
thormas1996的博客
03-20 1666
调研了一下目标领域少数据的机器翻译问题，持续更新中 Low resource MT 指在source domain有大量数据，而target domain数据很少，希望能迁移一些知识来提高target domain翻译的效果。 常用作法 扩大数据集，e.g. 用单语数据 pivot-based method，也常见于zero-source问题，找一个中间domain，A->B，B->...
Low Resource对话摘要论文阅读笔记
sdauguanweihong的博客
01-29 3689
Low Resource也是对话摘要任务中的一个研究重点，因为对话摘要的数据集相对偏少，最多也只有一万条数据，而且现实生活中也难以为长对话标注对应的摘要。这里记录两篇low resource对话摘要方面的论文 AdaptSum: Towards Low-Resource Domain Adaptation for Abstractive Summarization 论文链接： https://arxiv.org/abs/2103.11332 主要动机与想法： 生成式摘要模型依赖于大规模的摘要数据，需要大量的
Low Resource ASR: The surprising effectiveness of High Resource Transliteration--低资源ASR：高资源音译的惊人效果
weixin_45091943的博客
08-09 937
Interspeech2021中提到的一种利用音译的方法来解决低资源语言环境下的端到端语音识别的文章
论文篇 | 基于深度学习的机器翻译论文总汇
weixin_44649780的博客
10-25 3074
长期以来，人们一直认为人类翻译的质量对于计算机翻译系统来说是无法实现的。在这项研究中，我们提出了一个深度学习系统CUBBITT，它挑战了这一观点。在人类法官的上下文感知盲测评估中，CUBBITT在保留文本含义（翻译充分性）方面显着优于专业机构的英语到捷克语新闻翻译。虽然人工翻译仍然被评为更流畅，但CUBBIT被证明比以前最先进的系统更流畅。此外，翻译图灵测试的大多数参与者都很难将CUBBITT翻译与人工翻译区分开来。这项工作接近人工翻译的质量，甚至在某些情况下充分超越了它。
[论文阅读] Low-resource Deep Entity Resolution with Transfer and Active Learning
最新发布
liboqiao1234的博客
11-11 77
关键词：数据；实体匹配；ER；机器学习。
cs224n-2019-lecture01课件.pdf
08-23
lecture01的课程内容如下： Lecture 1: Introduction and Word Vectors 1. The course (10 mins) 2. Human language and word meaning (15 mins) 3. Word2vec introduction (15 mins) 4. Word2vec objective ...
cs224n-2019-winter:CS224n的所有讲义，幻灯片和作业
05-23
CS224n 2019年冬季 斯坦福大学的课程的所有讲义，幻灯片和作业 所有讲座的视频都可以
CS224n-Python3:适用于CS224n的Python 3存储库
05-19
CS224n分配：Python 3存储库很棒，赋值的原始代码基于Python 2，但是我还是Python 3的粉丝，对于喜欢3到2的用户，可以随时克隆或分叉此仓库，并乐在其中！ 漏洞修复（2018年初版） 作业3： q1_window.py WindowModel...
CS224N-2019:我为CS224N 2021和2019完成的实施解决方案
05-12
CS224N-2019和2021 闪亮的新事物：我已经在2021年更新了此解决方案，其中包括： 作业1中的新词嵌入分析 关于预训练和合成器变压器的新作业5 简化的NMT分配4 我的CS224N 2019解决方案 课程连结 课程页面 讲座...
low-resource-MT:在资源匮乏的情况下以及针对少数族裔和资源匮乏的语言的机器翻译工作
03-17
低资源MT 促进在资源不足的情况下以及针对少数族裔和资源匮乏的语言的机器翻译工作 数据集和基准 -Facebook低资源MT基准 （尤其是子集的， ， 和大小的语言对 -COVID-19的翻译计划 项目和项目构想 在地图上显示可用的模型及其质量 为创建简化且易于使用的可扩展排行榜，并支持越来越多的语言和基准 相关项目和举措
Neural machine translation by jointly learning to align and translate
03-22
Neural machine translation by jointly learning to align and translate
Machine Translation Its Scope and Limits
03-10
Machine Translation is the author’s comprehensive view of machine translation (MT) from the perspective of a participant in its history and development. The text considers MT as a fundamental part of Artificial Intelligence and the ultimate test-bed for all computational linguistics, covering historical and contemporary systems in Europe, the US and Japan. The author describes and contrasts a range of approaches to MT’s challenges and problems, and shows the evolution of conflicting approaches to MT towards some kind of skeptical consensus on future progress. The volume includes historic papers, updated with commentaries detailing their significance both at the time of their writing and now. The book concludes with a discussion of the most recent developments in the field and prospects for the future, which have been much changed by the arrival of the World Wide Web. Anyone interested in the progress of science and technology, particularly computer scientists and students, will find this a fascinating exploration of MT technology. Yorick Wilks is a Professor of Computer Science at the University of Sheffield, where he directs the Institute for Language, Speech and Hearing. He received his M.A. and Ph.D. (1968) from Pembroke College, Cambridge. He has also taught or researched at Stanford, Edinburgh, Geneva, Essex and New Mexico State Universities. His interests are artificial intelligence and the computer processing of language, knowledge and belief. He is a Fellow of the European and American Societies for Artificial Intelligence, a Fellow of the EPSRC College of Computing and a member of the UK Computing Research Council. Wilks was awarded the Antonio Zampolli prize by the European Language Resources Association in 2008. This prize is given to individuals whose work lies within the areas of Language Resources and Language Technology Evaluation with acknowledged contributions to their advancements. He was also the recipient of an ACL Life Achievement Award at the 46th Annual Meeting of the Association for Computational Linguistics in 2008.
spark-submit 提交到yarn上报错:NN上的资源不够用:Resources are low on NN.
huonan_123的博客
11-21 4289
Resources are low on NN. 资源不够用
【机器翻译machine translation】
专注美食
12-21 2201
的终极目标之一，具有重要的科学研究价值。   同时，机器翻译又具有重要的实用价值。随着经济全球化及互联网的飞速发展，机器翻译技术在促进政治、经济、文化交流等方面起到越来越重要的作用。   翻译过程 整个机器翻译的过程可以分为原文分析、原文译文转换和译文生成3个阶段。在具体的机器翻译系统中，根据不同方案的目的和要求，可以将原文译文转换阶段与原文分析阶段结合在一起，而把译文生成阶段独立起来，建立相关分析独立生成系统。在这样的系统中，原语分析时要考虑译语的特点，而在译语生成时则不考虑原语的特点。在研究多
Survey of Low-Resource Machine Translation阅读笔记
weixin_43540533的博客
12-15 2029
文章目录1 Introduction2 Data Sources2.1 Searching Existing Data Sources2.2 Web-crawling for Parallel Data2.3 Low-resource Languages and Web-crawling2.4 Other Data Sources3 Use of monolingual data3.1 Integration of external language models3.2 Synthesising Paral
【CS224n-5】Linguistic Structure: Dependency Parsing
u011613991的专栏
03-29 544
一.句法结构(syntactic structure) 主要有两种方式： 1）Constituency Parsing 2）Dependency Parsing 二.Constituency Parsing Constituency =phrase structure grammar(短语语法) = context-free grammars (CFG...
【cs224n-7】Machine Translation, Seq2Seq and Attention
u011613991的专栏
04-19 521
一.Machine Translation 机器翻译(MT)是将一个句子 x 从一种语言( 源语言 )转换为另一种语言( 目标语言 )的句子 y 的任务。 1.1 1950s: Early Machine Translation 机器翻译研究始于20世纪50年代初。 俄语 →英语(冷战的推动) 系统主要是基于规则的，使用双语词典来讲俄语单词映射为对应的英语部分 1.2...
【cs224n-13】Natural Language Generation
u011613991的专栏
06-13 514
本文主要讲解自然语言生成的神经方法(NLG)的一般性应用和发展概况。 一.概述:LMs和解码算法 NLG： 自然语言生成(NLG)指的是我们生成（即写入）新文本的任何设置。包括：机器翻译、文本摘要、对话、创意写作（讲故事、诗歌创作）、问答系统、图形字幕等等。 语言建模： 是给定之前的单词，预测下一个单词的任务。一个产生这一概率分布的系统叫做 语言模型。如果系统使用 RNN，则被称为 RNN-LM 条件语言建模： 是给定之前的单词以及一些其他输入 x ，预测下一个单词的任务。 ...
csw = cs(n-1,1:n-1)C++怎么实现这种操作
05-26
这段代码使用了组合数的概念，将从1到n-1的n-1个数中选取1个数的所有可能性计算出来，并存储在一个长度为n-1的数组csw中。 以下是C++的实现代码： ```C++ #include <iostream> #include <vector> using namespace std; vector<vector<int>> cs(int n) { vector<vector<int>> res(n, vector<int>(n, 0)); for (int i = 0; i < n; i++) { res[i][0] = 1; } for (int i = 1; i < n; i++) { for (int j = 1; j <= i; j++) { res[i][j] = res[i - 1][j - 1] + res[i - 1][j]; } } return res; } int main() { int n = 5; vector<vector<int>> res = cs(n); for (int i = 0; i < n; i++) { for (int j = 0; j <= i; j++) { cout << res[i][j] << " "; } cout << endl; } return 0; } ``` 在这个实现中，我们使用了二维向量来存储所有可能性。首先我们将第一列的所有元素初始化为1，因为从n个数中选取0个数的可能性只有一种，即不选任何数。然后我们使用组合数的递推公式，从第二列开始计算所有可能性，最终得到一个n行n列的向量，其中第i行第j列表示从i-1个数中选取j个数的所有可能性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值