Statiscal Machine Translation机器翻译_CodingPark编程公园

最新推荐文章于 2021-03-14 15:54:26 发布
最新推荐文章于 2021-03-14 15:54:26 发布
阅读量3.2k 收藏 2
点赞数 1
分类专栏： 自然语言处理 文章标签： 自然语言处理
版权由TEAM-AG团队所有
本文链接：https://blog.csdn.net/weixin_38411989/article/details/106254560
版权
本文详细介绍了Statistical Machine Translation的基本流程，包括双语数据预处理（中文分词、英文分词）、词对齐（使用GIZA++）、短语翻译表构造以及概率估计。在数据预处理中，涉及了数字、日期等特殊词汇的泛化处理；词对齐通过GIZA++获取中英文词语对应关系；短语抽取保证与词对齐一致；概率估计用于评估短语对的正确性。
摘要由CSDN通过智能技术生成

文章介绍

本文主要讲述了Statiscal Machine Translation的基本步骤

内容讲述

1 三个Model-自顶向下看问题

在这里插入图片描述
在这里插入图片描述

2 双语数据预处理

学习目标：了解和学习开发汉英双语数据预处理模块。

双语数据预处理是统计机器翻译系统构建的第一步，为词对齐处理提供分词后的
双语数据。预处理的工作本质上就是双语数据的分词处理，与传统分词不同的一
点在于需要对一些特定类型词汇进行泛化处理，如数字词汇“123.45”泛化为
“$number”来代替原文。

  • 中文分词预处理

采用传统基于词典的正向最大匹配法来完成中文分词

了解本专栏 订阅专栏 解锁全文 超级会员免费看
TEAM-AG
关注
专栏目录
订阅专栏
多模态文本分类技术_CodingPark编程公园
CodingPark 编程公园
11-19 1137
@ 多模态
数据集——基于TF NMT利用带有Attention的 ED模型训练、测试(中英文平行语料库)实现将英文翻译为中文的LSTM
02-24
数据集——基于TF NMT利用带有Attention的 ED模型训练、测试(中英文平行语料库)实现将英文翻译为中文的LSTM
NiuTrans.NMT:快速的神经机器翻译系统。 它是用C ++开发的，并借助NiuTensor来实现快速张量API。
03-08
NuTrans NMT 特征 NiuTrans.NMT是基于轻量级且高效的基于Transformer的神经机器翻译系统。中文介绍见 其主要特点是： 很少依赖。 它是用纯C ++实现的，所有依赖项都是可选的。 快速解码。 它支持各种解码加速策略，例如批处理修剪和动态批处理大小。 先进的NMT模型，例如 。 灵活的运行模式。 该系统可以在各种系统和设备（Linux与Windows，CPU与GPU，FP32与FP16等）上运行。 与框架无关。 它支持使用其他工具训练的各种模型，例如fairseq模型。 该代码对初学者来说是简单友好的。 最近更新 2020年12月：增加了对和培训的支持 2020年12月：通过优化后退功能大大减少了培训的内存占用 安装 要求 操作系统：Linux或Windows > = 4.8.4（在Linux上） > = 2015（在Windows上）
NiuTrans语料(中英文对照)
11-21
中英文对照语料库，可以用于训练翻译系统。
斯坦福大学-自然语言处理与深度学习（CS224n）笔记 第十课 神经机器翻译（neural machine translation）与attention模型
苏三慎的博客
11-15 1084
一、机器翻译（MT） 机器翻译是一个十分经典的语言理解的测试，涉及语言分析（language analysis）与语言生成（language generation）。 机器翻译是一个巨大的商业市场，每年的市场规模达到400亿美元，在欧洲和亚洲都有市场。 神经机器翻译（NMT）：神经机器翻译是利用一个巨大的神经网络来为整体机器翻译过程建模。 1、神经机器翻译的历史回顾 最早开始于1987年，All...
Neural Machine Translation（NMT）技术概述
guoyuhaoaaa的博客
02-11 7849
在神经网络语言模型处理NLP领域，我做的研究一直都和文本分类相关，其实还有很多其他的应用领域，比方说：语言翻译、词性标注、命名实体识别等。感觉还是有必要了解一下如何用神经网络语言模型对这些应用进行建模的。因此，这几天看了几篇有关Neural Machine Translation（NMT）的论文，对这个领域基本有了比较全面、正确的认识。在这个过程中，正好学习了业界最流行的attention思想，下面
Neural Machine Translation_translation_机器翻译_
10-03
**神经机器翻译（Neural Machine Translation，NMT）** 神经机器翻译是近年来自然语言处理领域的一项重大突破，它改变了传统的统计机器翻译方法，通过深度学习技术实现从源语言到目标语言的端到端翻译。这一技术的...
Statistical Machine Translation_机器翻译_
10-01
在统计机器翻译中，最著名的模型是基于短语的统计机器翻译（Phrased-Based Statistical Machine Translation, PB-SMT）。该模型将翻译任务分解为短语级别的匹配和重排，提高了翻译的质量和流畅度。PB-SMT模型由多个...
机器学习心得_CodingPark编程公园
CodingPark 编程公园
09-12 308
Machine Learning
NLP——8.基于统计的翻译系统
zjmy的博客
05-11 3703
基于统计的机器翻译：mosesdecoder作为比对翻译效果的baseline，如果不如这个的效果，就说明测试系统效果不算好。 首先看看一共需要以下三个模型： 语言模型：用来评估这句话的通畅程度。 1、需要从大量的语料中学习出在新的句子知道对应的英语翻译是什么。 2、翻译模型：实质是基于短语的（不是基于单词的翻译） 3、平行语料：只要中英文两个文件中行是相同的，那他们就是相互对应的中英文 4、在大量的平行语料中学习出该怎样去完成。可能会对词进行一些表示，例如word2vec等将文字表示为计算机能读懂的向量
机器翻译重要过程(1)---数据预处理
热门推荐
寒小阳
08-24 1万+
目前有如之前基于统计的开源翻译系统介绍中提到的许多开源统计翻译系统，在由原始平行语料到形成最后的翻译系统的整个过程中，它们有一些相同的处理步骤，从这次的文章开始，陆续介绍几个最重要的过程做法及其意义。        一般在我们得到双语平行语料之后，在构建双语统计翻译系统之前，都会有一个双语数据预处理的过程，为后续例如词对齐处理提供分好词且格式恰当的双语数据。这里以汉英双语数据举例。
GIZA++ 使用说明书
huangyanzhou163的专栏
03-07 7791
首先下载1500句平行句对，作为GIZA++的实验语料 利用java程序将1500句对进行分离，注意里面有一句中文多加了一个回车符，找到并删掉，然后执行该java程序。得到汉英分离的两个文件chinese和english两个文件。接下来利用中科院的分词工具和EGYPT分别实现对中文和英文进行分词，生成两个文件chinese_segment.txt和english.segment.txt。 这里
NiuTensor开源框架：C语言编写，支持CPU和GPU，可快速修改底层实现 | 百万人学AI评选
weixin_37986590的博客
05-13 920
2020 无疑是特殊的一年，而 AI 在开年的这场”战疫“中表现出了惊人的力量。站在“新十年”的起点上，CSDN【百万人学AI】评选活动正式启动。本届评选活动在前两届的基础上再度升级，设立了「AI优秀案例奖Top 30」、「AI新锐公司奖Top 10」、「AI开源贡献奖Top 5」三大奖项。我们相信，榜样的力量将成为促进AI行业不断发展的重要基石，而CSDN将与这些榜样一起，助力AI时代的”新基建“。 活动官网：https://bss.csdn.net/m/topic/ai_selection/in...
机器翻译Machine Translation及其Tensorflow代码实现（含注意力attention）
八门金锁的技术博客
12-12 2599
机器翻译 翻译句子xxx从一种语言（源语言）到句子yyy另一种语言（目标语言）。下面这个例子就是从法语转换成为英文。 统计机器翻译 英文是Statistical Machine Translation (SMT)。核心思想是从数据中学习概率模型。 argmaxyP(y∣x)=argmaxyP(x∣y)P(y) argmax_y P(y|x) \\\\ = argmax_y P(x|y) P(y) argmaxy​P(y∣x)=argmaxy​P(x∣y)P(y) 公式前一部分P(x∣y)P(x|y)P(x
《Sequence to Sequence Learning with Neural Networks》论文笔记
dingyi5625的博客
02-05 586
机器翻译论文笔记 （Sequence to Sequence Learning with Neural Networks） 一.摘要 此论文中，实现机器翻译的核心模型是长短期记忆神经网络(Long Short-Term Memory, LSTM)，首先通过一个多层的LSTM将输入的语言序列（下文简称源序列）转化为一个特定维度的向量，然后另一个深层LSTM根据此向量编译...
The NiuTrans Machine Translation Systems for WMT20
QingerBig的博客
03-14 553
本文主要介绍了WMT20中有关NiuTrans系统的实现。该系统在WMT20的日英双向任务上取得了第一名的成绩。 总的来看，本系统主要使用了回译、不同深度和宽度的模型、循环知识蒸馏和循环微调等技术。作者发现，在这之中使用合适的宽度和深度模型，模型的性能会得到大幅度的提升。 模型训练的步骤如下：1、数据预处理及过滤；2、迭代回译生成伪数据；3、使用不同的翻译模型去丰富模型翻译的多样性；4、通过领域内的多语数据进行迭代知识蒸馏；5、使用领域内数据并应用较小的训练batch进行模型微调；6、翻译后处理。 Syst
从冷战到深度学习，一文看懂机器翻译发展史
CSDN资讯
03-22 1万+
点击上方“CSDN”，选择“置顶公众号”关键时刻，第一时间送达！CSDN编者友情提示：完成本篇阅读至少需要消耗一周能量，请提前收藏~~~图片来源于网络通常来讲，我打开Google翻译的次数是Facebook的两倍，对我来说即时翻译不再是“赛博朋克”专属的情节，它已经成为我们现实生活的一部分。很难想象，经过一个世纪的努力机器翻译的算法竟得以实现，期间甚至有一半的时间我们都觉察不到这项科技的发展。从搜
2019 CS224N Assignment 4: Neural Machine Translation with RNNs and Analyzing NMT Systems
weixin_42017042的博客
03-01 2523
文章目录Neural Machine Translation with RNNs Neural Machine Translation with RNNs
VM700T_Machine: 视频与音频测量专家
"VM700T_Machine视频测量仪是一种高级的测试设备，用于音频和视频数据的精确测量。该仪器提供了丰富的功能和测量选项，适用于多种应用场景，包括信号分析、质量控制以及故障排查等。VM700T_Machine涵盖了多个功能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TEAM-AG

编程公园：输出是最好的学习方式

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值