Moses 解码工作原理研究 - 开始

最新推荐文章于 2023-07-06 04:28:20 发布
最新推荐文章于 2023-07-06 04:28:20 发布
阅读量654 收藏
点赞数
分类专栏： Localization 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/the3gwireless/article/details/9131281
版权

为了简化研究，找了老的版本，用VC编译成功，运行没什么问题，第一感觉是太慢，所有table都要加载到内存，大数据量绝对是死，但是为了研究基本思路和理论应该足够了。

计划，目前只针对Phase -based MT：

第一步是想从代码级了解在数据结构上，语言模型，phase table 都是怎么加载到内存里的？什么结构能保证快速搜索？

第二步是想知道Moses通过什么路径找到最佳候选翻译？语言模型，phase table,reorderring table 之间的关联关系如何建立的？

第三步是希望能最一些订制和修改，看看对速度和结果有什么影响。


循序渐进吧。。。



the3gwireless
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基础大语言模型的未来发展方向
禅与计算机程序设计艺术
07-07 136
随着深度学习技术的飞速发展，基础模型（Foundation Models）已经成为人工智能领域的研究热点。基础模型通过在大规模数据集上进行预训练，学习到丰富的知识，能够为各种下游任务提供强大的特征提取和表示能力。从早期的词嵌入到如今的Transformer模型，基础模型在自然语言处理、计算机视觉、语音识别等领域取得了显著的成果。本文将探讨基础模型的未来发展方向，分析其潜在挑战和机遇。基础模型的算法原理主要基于深度学习和迁移学习。
moses 手册
08-02
Philipp Koehn于May 30, 2011写的，202页pdf。 【摘要】 This document serves as user manual and code guide for the Moses machine translation decoder. The decoder was mainly developed by Hieu Hoang and Philipp Koehn at the University of Edinburgh and extended during a Johns Hopkins University Summer Workshop and further developed under EuroMa-trix and GALE project funding. The decoder (which is part of a complete statistical machine translation toolkit) is the de facto benchmark for research in the field.
[moses笔记]编译含有nplm的moses解码器
自然语言处理大菜鸟--HsingWang
07-04 2197
ACL2014的best paper Fast and Robust Neural Network Joint Models for Statistical Machine Translation在SMT中使用深度学习知识，提出了一种neural network joint model（其实就是融合源端语言知识去做语言模型），论文实验给出的结果宣称大幅度提高了以往基于n-gram语言模型翻译系统的
利用开源工具搭一套汉英翻译系统（四）：解码器Moses
zhangjcsd的专栏
10-12 1211
解码器采用Moses，有其他选择。 官网：http://www.statmt.org/moses/ ，上面的manual.pdf非常有用。 下载地址：https://github.com/moses-smt/mosesdecoder 前序安装： moses需要boost库的支持，所以需要先装boost，boost1.48中存在影响moses的bug，所以应该避开该版本，选择其他版本。我
Moses 解码工作原理研究 - 解码
07-11 801
翻译: this is a small house 1. 将this is a small house 拆分成短语如下： this, this is, this is a, is, is a, is a small, a, a small, a small house, small, small house, house... 2. 根据加载的短语表，参照上面拆分后的短语生成翻译选择
Moses 解码工作原理研究 - 短语表
06-21 900
短语表片断： this is ||| 领 用 ||| 0.000977302 4.27099e-06 8.07779e-05 3.56845e-09 2.718 ||| 0-0 1-1 ||| 365 4416 1 this is ||| 首先 ||| 0.000143721 1.81006e-05 8.07779e-05 2.15e-05 2.718 ||| 0-0 ||| 248
Moses 解码工作原理研究 - 加载语言模型
06-19 760
今天看了语言模型的加载,终于搞明白了，是按照树型结构。 举例: LM table 如下（省略概率值，只列出了短语）： 1-gram a b c 2-grams a b a c c b b a c a 3-grams c b a 加载到内存后形成三个树对象: a----b----c   |---c b---- a    |---c c
Moses是什么
wxw060709的专栏
03-15 832
Moses相关介绍 Moses是Pharaoh的升级版本，增加了许多功能。它是由英国爱丁堡大学、德国亚琛工业大学等8家单位联合开发的一个基于短语的统计机器翻译系统。开发时间6个星期，整个系统用C++写成。 插入一个问题，Pharaoh是什么？统计翻译系统中的开源工具们 首个基于短语的统计机器翻译系统“法老”（Pharaoh）。 “法老”是较早公开的统计机器翻译系统，由...
重磅！UCSF的研究者利用脑机接口首次让患者输出完整句子，展现恢复语言沟通的潜力...
脑机接口社区
07-17 439
本周三，加州大学旧金山分校(Universityof California, San Francisco,UCSF)等机构的研究人员在《New England Journal of Me...
Moses SMT Decoder-开源
04-27
Moses存储库已移动：https://github.com/moses-smt/mosesdecoder用于统计机器翻译的基于短语的分解式，分层和语法解码器
Moses Tool Suite-开源
04-26
Moses工具套件是用于计算系统的可视化建模，仿真，分析，综合和可视化的工具集合。
moses:MOSES机器学习
05-27
MOSES-优化元数据的语义进化搜索 MOSES是一种机器学习工具； 它是“进化程序学习者”。 它能够学习捕获输入数据集中的模式的简短程序。 这些程序可以使用combo编程语言或python输出。 对于给定的数据输入，程序将...
MOSES算法MOSES算法.pdf
07-09
为了了解MOSES算法的技术细节，我们将从数学角度探讨该算法的基本原理和数值算法。 I. 算法简介 MOSES算法的主要目标是解决复杂的技术问题，涉及多个领域，包括rigid body mechanics、时间序列分析、频谱分析、...
moses-online:摩西，机器翻译系统
07-14
“this->master”分支中的额外实现。 对于计算机辅助翻译，我们实施了在线学习功能，可从翻译人员的更正中学习。 此功能存储出现在 Oracle 翻译中的短语对（最接近后编辑句子的翻译）。 如果将来再次翻译这些短语对...
基于机器翻译的多语言生成技术和技巧
最新发布
禅与计算机程序设计艺术
07-06 1829
统计方法 NMT：NMT（Natural Language Toolkit）是一种基于统计的机器翻译方法。它通过训练一个语言模型来预测目标语言中的单词，然后根据上下文和语法规则将单词组合成完整的句子。基于模型的方法：这类方法通过建立一个语言模型来预测目标语言中的单词，然后根据上下文和语法规则将单词组合成完整的句子。典型的算法有： SMT、CTW、SMT+CTW 等。深度学习方法：这类方法通过构建深度神经网络来实现机器翻译。典型的算法有：Transformer、Seq2Seq 等。新闻报道。
史上最全的代码页（CodePage）和字符集（Character Sets）
08-07 3968
Character Sets And Code Pages At The Push Of A Button Code Pages, Character Encodings from
正则表达式介绍及其在EmEditor的应用
07-12 2364
  正则表达式介绍及其在EmEditor的应用   正则表达式实在包含的内容太多, 仅仅用一篇文章来涵盖是没可能的了, 所以我只是简要的做些介绍和基本的模式应用举例. 即使这样也需要多次分章节的来连载了~~~ 闲话少说, 以下正文:正则表达式, 英文 Regular expression, 简写Regexes或Regex. 应用概述: 提供与预期的搜索结果匹配的
在MS WORD里进行查找和替换的高级技巧
06-29 1581
Find and replace text or other items with MS WordSome of the content in this topic may not be applicable to some languages.Use Microsoft Word to find and replace text, formatting, pa
Moses机器翻译系统用户手册与代码指南
代码指南部分，则面向开发者，提供了关于Moses内部工作原理和代码结构的详细信息。开发者可以学习如何修改和扩展Moses的核心算法，以适应新的研究或定制特定的翻译需求。这部分可能会涉及如解码策略、模型融合、特征...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值