![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 77
xuanningmeng
这个作者很懒,什么都没留下…
展开
-
低成本微调LLM
最近在微调不同量级上的大模型,包括Llama-2-7b,Llama-2-13b,Llama-2-70b,Yi-34b,Qwen-14b,Qwen-72b等大模型。在有限的资源上微调大模型,节约显存,可以考虑使用LoRA这个算法,来自论文《LoRA: Low-Rank Adaptation of Large Language Models》,目前可以用的包有两个,分别是loralib 和peft这两个包,其中peft 和huggingface 中的transformers结合一起使用非常方便大家的使用。LL原创 2024-04-13 17:27:34 · 805 阅读 · 0 评论 -
生成模型的中Attention Mask说明
生成模型中的attention mask 学习理解原创 2022-09-25 17:49:43 · 5152 阅读 · 4 评论 -
CPT文本生成
文本生成原创 2022-08-06 17:44:12 · 890 阅读 · 1 评论 -
transformers中BertPreTrainedModel使用说明
transformers中学习记录原创 2022-07-16 15:26:06 · 4975 阅读 · 2 评论 -
关系抽取—OneRel
关系抽取原创 2022-07-10 13:56:23 · 2215 阅读 · 7 评论 -
标点恢复--Incorporating External POS Tagger for Punctuation Restoration
标点符号恢复原创 2022-07-02 11:54:47 · 1687 阅读 · 3 评论 -
文本纠错--CRASpell模型
文本纠错原创 2022-06-05 23:28:46 · 3364 阅读 · 6 评论 -
BertModel和BertForMaskedLM使用介绍
BertModel和BertForMaskedLM使用介绍在transformers中有BertModel和BertForMaskedLM这个类,直接调用。在实体抽取,文本分类等任务中常用使用的是BertModel获取句子的embedding 向量,BertForMaskedLM可以得到mask处的文字,最近在做一个任务遇到了BertForMaskedLM的使用,记录一下。BertModeltorch 代码如下import torchfrom transformers import BertMod原创 2022-05-28 23:04:08 · 9457 阅读 · 10 评论 -
DiffCSE
DiffCSE模型这篇论文DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings提出了 DiffCSE,一种用于学习句子嵌入的无监督对比学习框架。 DiffCSE 学习对原始句子和编辑句子之间的差异敏感的句子嵌入,其中编辑句子是通过随机mask原始句子然后从masked language模型中采样获得的。DiffCSE是对SimCSE模型的优化。这篇论文是发表于2022NAACL,代码地址为代码论文亮点(1)目前在S原创 2022-05-21 17:29:22 · 890 阅读 · 3 评论 -
TableQA -- Tapas模型介绍
TableQA – TAPAS模型介绍TAPAS 是2020年谷歌在ACL中的TAPAS: Weakly Supervised Table Parsing via Pre-training提出来的。亮点(1) TAPAS模型在tableqa问题中不需要生成逻辑表达式。(2) TAPAS是采用弱监督方式训练,分别得到tableqa中的cell值和聚合函数TAPAS 模型TAPAS 是基于BERT encoder以及额外的表格位置embedding特征,模型加了两个分类层,分别选择表cell和聚合函原创 2022-04-30 22:17:13 · 1885 阅读 · 0 评论 -
Text-to-SQL---RAT-SQL模型
RAT-SQLRAT-SQL是微软在2020 ACL发表的论文RAT-SQL: Relation-Aware Schema Encoding and Linking for Text-to-SQL Parsers 提出来的,这个模型在Spider数据集上的结果为65.6%。RAT-SQL代码的地址为https://github.com/Microsoft/rat-sql,笔者尝试了paddle 版本的RAT-SQL代码https://github.com/PaddlePaddle/Research/tre原创 2022-02-19 18:14:03 · 2697 阅读 · 6 评论 -
Prompt-Learning
Prompt-Learning Prompt Learning(提示学习)是指对输入文本信息按照特定模板进行处理,把任务重构成一个更能充分利用预训练语言模型处理的形式。Prompting使得预训练模型和下游任务之间更加接近,这一点儿与fine-tuning不同,fine-tuning是使用预训练模型做下游任务,prompt learning是各种下游任务适应预训练模型,根据不同的预训练模型重构下游任务。不同的prompt learning学习任务这里重点介绍基于清华大学公开的openprompt原创 2022-02-15 23:26:52 · 3053 阅读 · 0 评论 -
Text-to-SQL模型----IRNet
Text-to-SQL模型----IRNET笔者最近在做Text-to-SQL任务,看了这篇论文记录一下理解过程,如有理解错误,欢迎大家指正。IRNET模型是微软2019年发表于ACL的论文,论文题目为Towards Complex Text-to-SQL in Cross-Domain Database with Intermediate Representation,论文下载地址https://arxiv.org/pdf/1905.08205.pdf代码地址为https://github.com/原创 2021-10-28 22:22:47 · 1242 阅读 · 0 评论 -
关系抽取模型----SpERT模型
关系抽取模型----SpERT模型SpERT模型是联合式抽取模型,同时抽取实体和关系。SpERT模型采用分类的思想实现联合抽取,实体抽取和关系抽取模型均为分类模型。SpERT模型是Span-based Joint Entity and Relation Extraction with Transformer Pre-training(2020)提出的,代码地址,SpERT模型(1) 实体抽取和关系抽取均采用分类的思想(2) 采用穷近的思想预测给定文本中所有可能的文本片段所属的实体类型(3) 关系原创 2021-08-15 20:21:21 · 7345 阅读 · 28 评论 -
BERT中的Tokenizer说明
BERT中的Tokenizer说明原创 2021-08-03 00:04:28 · 36444 阅读 · 3 评论 -
transformers加载roberta实现序列标注任务
transformers加载roberta实现序列标注任务最近在断断续续的学习hugging face的transformers,主要是运用transformers加载各种预训练模型实现序列标注。本次博客的主要内容是争对加载roberta预训练模型做序列标注任务。大致内容如下:(1)roberta 模型(2)transformers实现序列标注roberta模型争对bert模型,有很多改进版本的模型,roberta模型与bert模型有以下几个不同的地方,其中roberta的全称为Robustly原创 2021-07-04 23:13:11 · 1464 阅读 · 1 评论 -
利用transformers实现序列标注
利用transformers实现序列标注最近在学习transformers这个模块,用这个模块实现序列标注。transformers模块可以加载大部分的预训练模型,包括bert-base-uncased,bert-base-chinese,hfl/chinese-roberta-wwm-ext,hfl/chinese-roberta-wwm-ext-large等。最近一段时间在尝试加载不同的预训练模型做序列标注,比较效果。后期会更新不同预训练模型在同一数据集上的结果。环境为tensorflow==2.4.原创 2021-06-05 22:43:55 · 1009 阅读 · 0 评论 -
关系抽取--TPLinker
关系抽取–TPLinker最近在学习和整理关系抽取的模型,在学习的过程中对关系抽取有了进一步的认识。小白的学习之路漫长开始。转入今天的正题。TPLinker是一种关系抽取的新范式,不同于其他联合抽取模型,TPLinker是单阶段抽取模型,实体和关系公用同一个解码,同时避免偏差暴露,同时抽取实体和关系,并不是先抽实体再抽关系,累加实体抽取错误的误差,保证了训练和预测的一致性。TPLinker可以处理实体重叠的关系抽取问题。下面是TPLinker的模型结果图:TaggingTPLinker模型需要对关原创 2021-05-05 16:18:00 · 3989 阅读 · 5 评论 -
Torch模型转TensorFlow
Torch模型转TensorFlow笔者最近在学习NLP方面的知识,发现很多论文的代码是用Torch实现的,Torch的模型部署没有TensorFlow成熟,笔者初步尝试Torch模型转Tensorflow模型,并采用TensorFlow Serving加载模型。笔者只是简单的学习实现了一个demo,后面尝试将其他的Torch模型转TensorFlow碰到了困难,没找到解决办法。下面介绍Torch模型转TensorFlow的模型的demo,主要包含以下内容:(1)生成Torch模型(2)Torch模型原创 2021-05-01 20:21:58 · 2077 阅读 · 0 评论 -
LTP--提取时间人物地点
LTPLTP是哈工大社会计算与信息检索研究中心历时多年研发的一整套高效、高精度的中文自然语言处理开源基础技术平台。该平台集词法分析(分词、词性标注、命名实体识别)、句法分析(依存句法分析)和语义分析(语义角色标注、语义依存分析)等多项自然语言处理技术于一体。笔者尝试用LTP提取时间,人物,地点,言论观点句。LTP使用ltp_data_path = args["ltp_data_path"]# ner model pathner_model_path = os.path.join(ltp_data_原创 2021-04-24 23:34:55 · 1697 阅读 · 0 评论 -
关系抽取--CASREL
关系抽取–CASREL关系抽取是自然语言处理中的一个基本任务。关系抽取通常用三元组(subject, relation, object)表示。解决关系抽取的思路有两种:(1)已知两个实体subject和object,采用分类模型得到实体间的关系(2)抽取实体,预测实体间可能存在的关系。...原创 2021-04-17 21:04:59 · 7760 阅读 · 27 评论 -
关系抽取--R-BERT
关系抽取–R-BERT关系抽取是自然语言处理中的一个重要的任务。关系抽取任务分为pipline式抽取和joint line式抽取。其中pipline抽取的方式一般将关系抽取分为两个过程,分别是先进行实体抽取,在对实体进行分类得到实体间的关系,将关系抽取转化为一个分类问题。joint line式抽取是同时抽取实体和关系,joint line式关系抽取将会成为关系抽取的一个重要方向。本博客介绍一个关系抽取想法比较好的模型——R-BERT模型。内容大致分为以下几个部分:R-BERT模型R-BERT关键代码原创 2021-04-16 00:02:15 · 2859 阅读 · 2 评论 -
利用hugging face的Transformers实现文本分类
文本分类文本分类任务在实际工作中很常见,一般是多分类和多标签分类。多标签分类的内容参见博客https://blog.csdn.net/weixin_42223207/article/details/115036283。本文是以用hugging face的Transformers实现文本分类,采用的框架是tensorflow==2.4.0。本文的内容大致如下:数据tokenizer模型模型训练模型预测Flask服务数据tokenizer采用...原创 2021-04-10 23:42:51 · 1038 阅读 · 2 评论 -
利用hugging face的Transformers实现多标签文本分类
多标签分类文本分类是自然语言处理的基本任务之一。大部分文本分类是多分类,即数据有多个标签。实际工作或者项目中会遇到多标签的文本。笔者利用hugging face的Transformers实现多标签文本分类。笔者的tensorflow版本为2.4.0,transformers的版本为4.2.0数据处理利用transformers中的BertTokenizer对数据进行Tokenizer。代码如下:def get_model_data(data, labels, max_seq_len=128): t原创 2021-03-20 22:22:50 · 4583 阅读 · 4 评论 -
利用hugging face的Transformers实现命名实体识别
命名实体识别命名实体识别(NER)是自然语言处理的基本任务之一,通常从文本中抽取出时间,地点,组织机构,人物等实体。目前大部分命名实体识别工作都是基于预训练模型上微调实现的。本博客是基于hugging face的Transformers实现的,框架采用的是tensorflow==2.4.0。数据特征利用transformers中的BertTokenizer构建数据特征,包括input_ids,token_type_ids,attention_mask。def create_inputs_target原创 2021-04-02 23:18:35 · 2304 阅读 · 4 评论