球球不秃头-CSDN博客

原创使用DeepSpeed在Slurm集群上多机跑大模型

上面的脚本就是DeepSpeed在Slurm集群中多机运行的脚本，但是直接运行脚本会报错，local_rank无法通过args自动传参，导致没有分布式初始化，需要对。跑Bloom模型，在多机训练时遇到了一点问题，查了一些资料没有发现DeepSpeed在Slurm集群上多机跑的方法笔记，特此记录一下。以上就是在Slurm集群中使用DeepSpeed Chat多机训练模型的方法，不对的地方欢迎指正！其中每一行代表一个节点，第一个是节点名称，第二个是该节点使用的gpu数。做一下修改，把环境变量传参进去，在。

2023-07-28 15:55:45 2838 1

原创 SimAlign使用踩坑记录

SimAlign使用踩坑记录最近在做无监督词对齐的相关任务，用到了一个开源代码SimAlignSimAlign是一个通过无监督的方式进行词对齐的工具，其具体的实现方式在它的论文中有具体介绍。按照官网给出的建议配置环境（Python 3.7, Transformers 3.1.0, Torch 1.5.0. Networkx 2.4）后，安装SimAlign：pip install --upgrade git+https://github.com/cisnlp/simalign.git#egg=sim

2022-03-01 17:45:09 1054 2

原创 fairseq训练时出现：AttributeError: module ‘sacrebleu‘ has no attribute ‘compute_bleu‘

最近在做机器翻译的相关任务，在安装好fairseq跑实验时，遇到下述错误：AttributeError: module 'sacrebleu' has no attribute 'compute_bleu'经查阅，是sacrebleu 2.0 版本的问题，只需要进行以下操作：pip uninstall sacrebleupip install sacrebleu==1.5.1问题解决！...

2021-09-06 15:47:05 2042 2

翻译 Cross-lingual Entity Alignment via Joint Attribute-Preserving Embedding(基于联合属性保持向量的跨语言实体对齐)

基于联合属性保持向量的跨语言实体对齐1 引言2 相关工作2.1KB Embedding2.2 跨语言知识库对齐3 基于知识库嵌入的跨语言实体对齐3.1 概述3.2 结构向量3.3 属性向量与实体相似度计算属性向量实体相似度计算3.4 联合保持属性的嵌入3.5 讨论结构嵌入的目标函数训练参数复杂性搜索潜在对齐实体摘要实体对齐的任务是在两个知识库(KBs)中找到代表相同现实世界对象的实体。在面对不同自然语言的KBs时，传统的跨语言实体对齐方法依靠机器翻译来消除语言障碍。这些方法经常受到不同语言之间翻译

2021-08-21 17:16:23 1324

翻译 End-to-End Slot Alignment and Recognition for Cross-Lingual NLU（跨语言NLU的端到端槽对齐与识别）

跨语言NLU的端到端位置对齐与识别Abstract1 Introduction2 相关工作多语言模型迁移机器翻译迁移3 数据4 跨语言NLU4.1 联合意图检测与槽填充4.2 槽位标签投影问题4.3 注意模块端到端槽对齐和识别Abstract面向目标对话系统中的自然语言理解（NLU）通常包括意图分类和槽标记任务。现有的将NLU系统扩展到新语言的方法是使用机器翻译，从源语到被翻译的话语使用槽标记投影，因此对投影错误很敏感。在这项工作中，我们提出了一个新的端到端模型，联合学习、对齐和预测目标槽标签的跨语言迁

2021-08-20 11:49:12 478

翻译 Entity Projection via Machine Translation for Cross-Lingual NER（基于机器翻译的跨语言NER实体投影）

基于机器翻译的跨语言NER实体投影Abstract1 Introduction2 相关工作2.1 直接模型转移2.2 标签投影3 翻译-匹配-工程方法3.1候选匹配生成token级匹配跨度匹配生成3.2 最佳匹配选择3.3 基于分布的匹配Abstract尽管强大的现成机器翻译系统支持100多种语言，但其中只有一个子集拥有用于命名实体识别的大型注释语料库。基于这一事实，我们利用机器翻译来改进实体投影方法，以实现跨语言命名实体识别。我们提出了一个系统，改进了先前的实体投影方法:利用机器翻译系统两次：第一

2021-08-19 22:42:42 653

翻译 A New Approach for English-Chinese Named Entity Alignment（跨语言实体对齐）

A New Approach for English-Chinese Named Entity Alignment（英汉实体对齐新方法）Abstract二级目录三级目录Abstract传统的词对齐方法不能为实体提供令人满意的结果。在本文中，我们提出了一种使用最大熵模型进行命名实体对齐的新方法。为了简化最大熵模型的训练，使用自举来帮助监督学习。与以往文献报道的工作不同，我们的工作对中文进行了无分词的双语命名实体对齐，其性能比有分词的好得多。实验结果表明，与IBM模型4和HMM对齐模型相比，我们的方法明显优

2021-08-19 15:10:44 709 1

原创 fairseq使用问题记录

Cython编译问题错误：ValueError: Please build (or rebuild) Cython components with python setup.py build_ext --inplace.参照网上的方法，在代码目录执行python setup.py build_ext --inplace，提示：python: can't open file '/data/zhanghongxiao/SJ_task/task_4/setup.py': [Errno 2] No such

2021-08-02 09:24:23 2227 3

翻译 Cross-Lingual NER Using Parallel Corpus: A New Approach Using XLM-RoBERTa Alignment

Cross-Lingual Named Entity Recognition Using Parallel Corpus: A New Approach Using XLM-RoBERTa Alignment（基于平行语料库的跨语言命名实体识别:一种新的XLM-RoBERTa对齐方法）文章内容AbstractIntroduction三级目录Abstract我们提出了一种使用平行语料库的跨语言命名实体识别(NER) 0-shot 迁移的新方法。我们在XLM-RoBERTa 的基础上建立了一个实体对齐模型

2021-07-06 14:41:08 823

原创 Screen解决服务器断网程序断开的问题

在连接服务器运行程序时，有时网络不稳定会导致服务器和主机断网，或者我们有事需要关闭和服务器的对话窗口，这时运行的程序也会断开，如果重新跑就浪费时间，可以用screen解决这个问题。首先，登陆服务器后，输入命令screen -S yourname创建一个session，这时会直接进入到这个session中，我们在这个session中进入环境运行程序。当我们想关闭会话时，可以按快捷键Ctrl+a+d，这样这个session的程序就被扔到了服务器后端运行，我们这时可以进行服务器其他操作，或者直接关闭会话窗

2021-05-19 19:42:54 1155

翻译翻译：Structure-Level Knowledge Distillation For Multilingual Sequence Labeling

Structure-Level Knowledge Distillation For Multilingual Sequence Labeling（面向多语言序列标注的结构级知识蒸馏）面向多语言序列标注的结构级知识蒸馏0 摘要1 简介2 研究背景2.1 序列标注2.2 知识蒸馏3 实验方法3.1 Top-K蒸馏3.2 后验蒸馏3.3 多语言知识提蒸馏4 实验4.1 设置4.2 结果4.3 Zero-shot转移4.4 较弱的教师KD4.5 Top-K的k值4.6 训练时间和内存消耗相关工作6 关于Flai

2021-04-21 15:45:58 570

原创 argparse从命令行传递bool值

前言今天在写程序的时候发现argparse在接收命令行bool类型的值时出现问题：命令行输入为：python BiLSTM_run.py --is_train False发现程序仍然运行is_train=True 的代码，设置default为false：parse.add_argument('--is_train', default=False, type=bool, help='is training state or not ')仍然没有用，上网查阅资料后发现，是argparse的问题，

2021-03-31 15:55:09 1886 1

原创文件命名问题aaaaa

记录一个自己被绊倒3次的很沙雕的问题今天在肝毕设的代码，写完调试之后发现一直出现这个错误：一开始找的解决办法都是解决：windows安装Pytorch报错:from torch._C import * ImportError: DLL load failed: 找不到指定的模块这个问题的，我看了下解决办法以为是自己的pytorch出了问题，然后花了n个小时的时间重新下载了pytorch，没有用。看了其他的解决办法，设置了pycharm的环境变量，还是没用。就当我快要崩溃了的时候，我发现了一个问

2021-03-29 20:56:05 125

原创 python 字典被离奇改变

vocab 被改变在做NLP相关任务时，发现一个有意思的问题：在textlines = [[vocab[char] for char in line] for line in textlines ]# 功能：将句子中的单词转化为单词ID# textlines: 输入的句子列表例：[['我'，'喜'，'欢'，'你'],['你','喜','欢','他']]# vocab: 词表例：{'我':0,'喜':1,'欢':2,'你':3,'他':4}# 转换后为：[[0,1,2,3][3,1,2,4]

2021-03-27 17:17:55 260

原创笔记：Pytorch梯度截断：torch.nn.utils.clip_grad_norm_

torch.nn.utils.clip_grad_norm_梯度裁剪既然在BP过程中会产生梯度消失（就是偏导无限接近0，导致长时记忆无法更新），那么最简单粗暴的方法，设定阈值，当梯度小于阈值时，更新的梯度为阈值，（梯度裁剪解决的是梯度消失或爆炸的问题，即设定阈值）如下图所示1：函数torch.nn.utils.clip_grad_norm_(parameters, max_norm, norm_type=2)官网介绍函数定义：裁剪可迭代参数的渐变范数。范数是在所有梯度一起计算的，就好像它们被

2021-03-15 19:16:47 20703 5

翻译翻译：Towards Lingua Franca Named Entity Recognition with BERT（基于BERT的通用语命名实体识别）

**基于BERT的通用语命名实体识别笔记整理**基于BERT的通用语命名实体识别摘要简介命名实体识别（NER）现存问题本文主要思想前期工作不不不基于BERT的通用语命名实体识别本文是关于学习Towards Lingua Franca Named Entity Recognition with BERT1 论文时翻译和笔记的记录，便于日后查看。摘要信息抽取是自然语言处理中的一项重要任务，它能够自动抽取数据以填充关系数据库。从历史上看，研究和数据是为英文文本生成的，随后几年是阿拉伯文、中文、荷兰文、西班

2021-03-04 20:18:19 328 1

weixin_42628991的博客