![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 67
球球不秃头
这个作者很懒,什么都没留下…
展开
-
使用DeepSpeed在Slurm集群上多机跑大模型
上面的脚本就是DeepSpeed在Slurm集群中多机运行的脚本,但是直接运行脚本会报错,local_rank无法通过args自动传参,导致没有分布式初始化,需要对。跑Bloom模型,在多机训练时遇到了一点问题,查了一些资料没有发现DeepSpeed在Slurm集群上多机跑的方法笔记,特此记录一下。以上就是在Slurm集群中使用DeepSpeed Chat多机训练模型的方法,不对的地方欢迎指正!其中每一行代表一个节点,第一个是节点名称,第二个是该节点使用的gpu数。做一下修改,把环境变量传参进去,在。原创 2023-07-28 15:55:45 · 2464 阅读 · 1 评论 -
fairseq训练时出现:AttributeError: module ‘sacrebleu‘ has no attribute ‘compute_bleu‘
最近在做机器翻译的相关任务,在安装好fairseq跑实验时,遇到下述错误:AttributeError: module 'sacrebleu' has no attribute 'compute_bleu'经查阅,是sacrebleu 2.0 版本的问题,只需要进行以下操作:pip uninstall sacrebleupip install sacrebleu==1.5.1问题解决!...原创 2021-09-06 15:47:05 · 1991 阅读 · 2 评论 -
Cross-lingual Entity Alignment via Joint Attribute-Preserving Embedding(基于联合属性保持向量的跨语言实体对齐)
基于联合属性保持向量的跨语言实体对齐1 引言2 相关工作2.1KB Embedding2.2 跨语言知识库对齐3 基于知识库嵌入的跨语言实体对齐3.1 概述3.2 结构向量3.3 属性向量与实体相似度计算属性向量实体相似度计算3.4 联合保持属性的嵌入3.5 讨论结构嵌入的目标函数训练参数复杂性搜索潜在对齐实体摘要 实体对齐的任务是在两个知识库(KBs)中找到代表相同现实世界对象的实体。在面对不同自然语言的KBs时,传统的跨语言实体对齐方法依靠机器翻译来消除语言障碍。这些方法经常受到不同语言之间翻译翻译 2021-08-21 17:16:23 · 1089 阅读 · 0 评论 -
End-to-End Slot Alignment and Recognition for Cross-Lingual NLU(跨语言NLU的端到端槽对齐与识别)
跨语言NLU的端到端位置对齐与识别Abstract1 Introduction2 相关工作多语言模型迁移机器翻译迁移3 数据4 跨语言NLU4.1 联合意图检测与槽填充4.2 槽位标签投影问题4.3 注意模块端到端槽对齐和识别Abstract面向目标对话系统中的自然语言理解(NLU)通常包括意图分类和槽标记任务。现有的将NLU系统扩展到新语言的方法是使用机器翻译,从源语到被翻译的话语使用槽标记投影,因此对投影错误很敏感。在这项工作中,我们提出了一个新的端到端模型,联合学习、对齐和预测目标槽标签的跨语言迁翻译 2021-08-20 11:49:12 · 450 阅读 · 0 评论 -
A New Approach for English-Chinese Named Entity Alignment(跨语言实体对齐)
A New Approach for English-Chinese Named Entity Alignment(英汉实体对齐新方法)Abstract二级目录三级目录Abstract传统的词对齐方法不能为实体提供令人满意的结果。在本文中,我们提出了一种使用最大熵模型进行命名实体对齐的新方法。为了简化最大熵模型的训练,使用自举来帮助监督学习。与以往文献报道的工作不同,我们的工作对中文进行了无分词的双语命名实体对齐,其性能比有分词的好得多。实验结果表明,与IBM模型4和HMM对齐模型相比,我们的方法明显优翻译 2021-08-19 15:10:44 · 509 阅读 · 1 评论 -
fairseq使用问题记录
Cython编译问题错误:ValueError: Please build (or rebuild) Cython components with python setup.py build_ext --inplace.参照网上的方法,在代码目录执行python setup.py build_ext --inplace,提示:python: can't open file '/data/zhanghongxiao/SJ_task/task_4/setup.py': [Errno 2] No such原创 2021-08-02 09:24:23 · 2190 阅读 · 3 评论 -
Cross-Lingual NER Using Parallel Corpus: A New Approach Using XLM-RoBERTa Alignment
Cross-Lingual Named Entity Recognition Using Parallel Corpus: A New Approach Using XLM-RoBERTa Alignment(基于平行语料库的跨语言命名实体识别:一种新的XLM-RoBERTa对齐方法)文章内容AbstractIntroduction三级目录Abstract我们提出了一种使用平行语料库的跨语言命名实体识别(NER) 0-shot 迁移的新方法。我们在XLM-RoBERTa 的基础上建立了一个实体对齐模型翻译 2021-07-06 14:41:08 · 547 阅读 · 0 评论 -
翻译:Structure-Level Knowledge Distillation For Multilingual Sequence Labeling
Structure-Level Knowledge Distillation For Multilingual Sequence Labeling(面向多语言序列标注的结构级知识蒸馏)面向多语言序列标注的结构级知识蒸馏0 摘要1 简介2 研究背景2.1 序列标注2.2 知识蒸馏3 实验方法3.1 Top-K蒸馏3.2 后验蒸馏3.3 多语言知识提蒸馏4 实验4.1 设置4.2 结果4.3 Zero-shot转移4.4 较弱的教师KD4.5 Top-K的k值4.6 训练时间和内存消耗相关工作6 关于Flai翻译 2021-04-21 15:45:58 · 273 阅读 · 0 评论 -
python 字典被离奇改变
vocab 被改变在做NLP相关任务时,发现一个有意思的问题:在textlines = [[vocab[char] for char in line] for line in textlines ]# 功能:将句子中的单词转化为单词ID# textlines: 输入的句子列表 例:[['我','喜','欢','你'],['你','喜','欢','他']]# vocab: 词表 例:{'我':0,'喜':1,'欢':2,'你':3,'他':4}# 转换后为:[[0,1,2,3][3,1,2,4]原创 2021-03-27 17:17:55 · 233 阅读 · 0 评论