- 博客(16)
- 收藏
- 关注
原创 使用DeepSpeed在Slurm集群上多机跑大模型
上面的脚本就是DeepSpeed在Slurm集群中多机运行的脚本,但是直接运行脚本会报错,local_rank无法通过args自动传参,导致没有分布式初始化,需要对。跑Bloom模型,在多机训练时遇到了一点问题,查了一些资料没有发现DeepSpeed在Slurm集群上多机跑的方法笔记,特此记录一下。以上就是在Slurm集群中使用DeepSpeed Chat多机训练模型的方法,不对的地方欢迎指正!其中每一行代表一个节点,第一个是节点名称,第二个是该节点使用的gpu数。做一下修改,把环境变量传参进去,在。
2023-07-28 15:55:45
2838
1
原创 SimAlign使用踩坑记录
SimAlign使用踩坑记录最近在做无监督词对齐的相关任务,用到了一个开源代码SimAlignSimAlign是一个通过无监督的方式进行词对齐的工具,其具体的实现方式在它的论文中有具体介绍。按照官网给出的建议配置环境(Python 3.7, Transformers 3.1.0, Torch 1.5.0. Networkx 2.4)后,安装SimAlign:pip install --upgrade git+https://github.com/cisnlp/simalign.git#egg=sim
2022-03-01 17:45:09
1054
2
原创 fairseq训练时出现:AttributeError: module ‘sacrebleu‘ has no attribute ‘compute_bleu‘
最近在做机器翻译的相关任务,在安装好fairseq跑实验时,遇到下述错误:AttributeError: module 'sacrebleu' has no attribute 'compute_bleu'经查阅,是sacrebleu 2.0 版本的问题,只需要进行以下操作:pip uninstall sacrebleupip install sacrebleu==1.5.1问题解决!...
2021-09-06 15:47:05
2042
2
翻译 Cross-lingual Entity Alignment via Joint Attribute-Preserving Embedding(基于联合属性保持向量的跨语言实体对齐)
基于联合属性保持向量的跨语言实体对齐1 引言2 相关工作2.1KB Embedding2.2 跨语言知识库对齐3 基于知识库嵌入的跨语言实体对齐3.1 概述3.2 结构向量3.3 属性向量与实体相似度计算属性向量实体相似度计算3.4 联合保持属性的嵌入3.5 讨论结构嵌入的目标函数训练参数复杂性搜索潜在对齐实体摘要 实体对齐的任务是在两个知识库(KBs)中找到代表相同现实世界对象的实体。在面对不同自然语言的KBs时,传统的跨语言实体对齐方法依靠机器翻译来消除语言障碍。这些方法经常受到不同语言之间翻译
2021-08-21 17:16:23
1324
翻译 End-to-End Slot Alignment and Recognition for Cross-Lingual NLU(跨语言NLU的端到端槽对齐与识别)
跨语言NLU的端到端位置对齐与识别Abstract1 Introduction2 相关工作多语言模型迁移机器翻译迁移3 数据4 跨语言NLU4.1 联合意图检测与槽填充4.2 槽位标签投影问题4.3 注意模块端到端槽对齐和识别Abstract面向目标对话系统中的自然语言理解(NLU)通常包括意图分类和槽标记任务。现有的将NLU系统扩展到新语言的方法是使用机器翻译,从源语到被翻译的话语使用槽标记投影,因此对投影错误很敏感。在这项工作中,我们提出了一个新的端到端模型,联合学习、对齐和预测目标槽标签的跨语言迁
2021-08-20 11:49:12
478
翻译 Entity Projection via Machine Translation for Cross-Lingual NER(基于机器翻译的跨语言NER实体投影)
基于机器翻译的跨语言NER实体投影Abstract1 Introduction2 相关工作2.1 直接模型转移2.2 标签投影3 翻译-匹配-工程方法3.1候选匹配生成token级匹配跨度匹配生成3.2 最佳匹配选择3.3 基于分布的匹配Abstract尽管强大的现成机器翻译系统支持100多种语言,但其中只有一个子集拥有用于命名实体识别的大型注释语料库。基于这一事实,我们利用机器翻译来改进实体投影方法,以实现跨语言命名实体识别。我们提出了一个系统,改进了先前的实体投影方法:利用机器翻译系统两次:第一
2021-08-19 22:42:42
653
翻译 A New Approach for English-Chinese Named Entity Alignment(跨语言实体对齐)
A New Approach for English-Chinese Named Entity Alignment(英汉实体对齐新方法)Abstract二级目录三级目录Abstract传统的词对齐方法不能为实体提供令人满意的结果。在本文中,我们提出了一种使用最大熵模型进行命名实体对齐的新方法。为了简化最大熵模型的训练,使用自举来帮助监督学习。与以往文献报道的工作不同,我们的工作对中文进行了无分词的双语命名实体对齐,其性能比有分词的好得多。实验结果表明,与IBM模型4和HMM对齐模型相比,我们的方法明显优
2021-08-19 15:10:44
709
1
原创 fairseq使用问题记录
Cython编译问题错误:ValueError: Please build (or rebuild) Cython components with python setup.py build_ext --inplace.参照网上的方法,在代码目录执行python setup.py build_ext --inplace,提示:python: can't open file '/data/zhanghongxiao/SJ_task/task_4/setup.py': [Errno 2] No such
2021-08-02 09:24:23
2227
3
翻译 Cross-Lingual NER Using Parallel Corpus: A New Approach Using XLM-RoBERTa Alignment
Cross-Lingual Named Entity Recognition Using Parallel Corpus: A New Approach Using XLM-RoBERTa Alignment(基于平行语料库的跨语言命名实体识别:一种新的XLM-RoBERTa对齐方法)文章内容AbstractIntroduction三级目录Abstract我们提出了一种使用平行语料库的跨语言命名实体识别(NER) 0-shot 迁移的新方法。我们在XLM-RoBERTa 的基础上建立了一个实体对齐模型
2021-07-06 14:41:08
823
原创 Screen解决服务器断网程序断开的问题
在连接服务器运行程序时,有时网络不稳定会导致服务器和主机断网,或者我们有事需要关闭和服务器的对话窗口,这时运行的程序也会断开,如果重新跑就浪费时间,可以用screen解决这个问题。首先,登陆服务器后,输入命令screen -S yourname创建一个session,这时会直接进入到这个session中,我们在这个session中进入环境运行程序。当我们想关闭会话时,可以按快捷键Ctrl+a+d,这样这个session的程序就被扔到了服务器后端运行,我们这时可以进行服务器其他操作,或者直接关闭会话窗
2021-05-19 19:42:54
1155
翻译 翻译:Structure-Level Knowledge Distillation For Multilingual Sequence Labeling
Structure-Level Knowledge Distillation For Multilingual Sequence Labeling(面向多语言序列标注的结构级知识蒸馏)面向多语言序列标注的结构级知识蒸馏0 摘要1 简介2 研究背景2.1 序列标注2.2 知识蒸馏3 实验方法3.1 Top-K蒸馏3.2 后验蒸馏3.3 多语言知识提蒸馏4 实验4.1 设置4.2 结果4.3 Zero-shot转移4.4 较弱的教师KD4.5 Top-K的k值4.6 训练时间和内存消耗相关工作6 关于Flai
2021-04-21 15:45:58
570
原创 argparse从命令行传递bool值
前言今天在写程序的时候发现argparse在接收命令行bool类型的值时出现问题:命令行输入为:python BiLSTM_run.py --is_train False发现程序仍然运行is_train=True 的代码,设置default为false:parse.add_argument('--is_train', default=False, type=bool, help='is training state or not ')仍然没有用,上网查阅资料后发现,是argparse的问题,
2021-03-31 15:55:09
1886
1
原创 文件命名问题aaaaa
记录一个自己被绊倒3次的很沙雕的问题今天在肝毕设的代码,写完调试之后发现一直出现这个错误:一开始找的解决办法都是解决:windows安装Pytorch报错:from torch._C import * ImportError: DLL load failed: 找不到指定的模块这个问题的,我看了下解决办法以为是自己的pytorch出了问题,然后花了n个小时的时间重新下载了pytorch,没有用。看了其他的解决办法,设置了pycharm的环境变量,还是没用。就当我快要崩溃了的时候,我发现了一个问
2021-03-29 20:56:05
125
原创 python 字典被离奇改变
vocab 被改变在做NLP相关任务时,发现一个有意思的问题:在textlines = [[vocab[char] for char in line] for line in textlines ]# 功能:将句子中的单词转化为单词ID# textlines: 输入的句子列表 例:[['我','喜','欢','你'],['你','喜','欢','他']]# vocab: 词表 例:{'我':0,'喜':1,'欢':2,'你':3,'他':4}# 转换后为:[[0,1,2,3][3,1,2,4]
2021-03-27 17:17:55
260
原创 笔记:Pytorch梯度截断:torch.nn.utils.clip_grad_norm_
torch.nn.utils.clip_grad_norm_梯度裁剪既然在BP过程中会产生梯度消失(就是偏导无限接近0,导致长时记忆无法更新),那么最简单粗暴的方法,设定阈值,当梯度小于阈值时,更新的梯度为阈值,(梯度裁剪解决的是梯度消失或爆炸的问题,即设定阈值)如下图所示1:函数torch.nn.utils.clip_grad_norm_(parameters, max_norm, norm_type=2)官网介绍函数定义:裁剪可迭代参数的渐变范数。范数是在所有梯度一起计算的,就好像它们被
2021-03-15 19:16:47
20703
5
翻译 翻译:Towards Lingua Franca Named Entity Recognition with BERT(基于BERT的通用语命名实体识别)
**基于BERT的通用语命名实体识别笔记整理**基于BERT的通用语命名实体识别摘要简介命名实体识别(NER)现存问题本文主要思想前期工作不不不基于BERT的通用语命名实体识别本文是关于学习Towards Lingua Franca Named Entity Recognition with BERT1 论文时翻译和笔记的记录,便于日后查看。摘要信息抽取是自然语言处理中的一项重要任务,它能够自动抽取数据以填充关系数据库。从历史上看,研究和数据是为英文文本生成的,随后几年是阿拉伯文、中文、荷兰文、西班
2021-03-04 20:18:19
328
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人