基于ChatGPT来做NLP任务的相关论文

已于 2023-07-21 23:33:21 修改
阅读量274 收藏 3
点赞数
文章标签： 自然语言处理 bert transformer chatgpt
于 2023-07-21 23:19:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fjfdg666/article/details/131861812
版权

2023

  • How to Unleash the Power of Large Language Models for Few-shot Relation Extraction?

    • ACL
    • 阅读笔记: 1. 基于chatgpt大模型的few-shot关系抽取
      2. 提出了两种策略：task-related instructions and schema-constrained data generation.
      3. task-related instructions：不同于text prompt，使用任务指令描述的方式来进行关系抽取任务
      4. schema-constrained data generation：使用实体类型限定的关系抽取任务

  • Small Models are Valuable Plug-ins for Large Language Models

    • [code]
    • 阅读笔记: 1. 将大模型chatgpt和本地微调的小模型结合起来
      2. 基于in context learning学习，将小模型的预测的label和置信度加入到context中，基于该上下文使用chatgpt进行label的预测，并给出预测结果的推理过程

  • GPT-NER: Named Entity Recognition via Large Language Models

    • 阅读笔记: 1. 为了减少生成大模型和抽取任务的gap，将原始文本的实体前后添加special token并作为label。然后使用任务指令+few-shot学习的方式用大模型进行预测
      2. few-shot样例使用了随机采样和基于kNN相似度检索的方式获取
      3. 为了防止大模型的过度自信，说了few-shot的自我验证方法，即通过指令描述的方式让大模型回答抽取到的实体是否是相应类别的实体

  • Zero-Shot Information Extraction via Chatting with ChatGPT

    • [code]
    • 阅读笔记: 1. 基于chatgpt模型，把zero-shot信息抽取分成了两个阶段。第一个阶段：通过prompt的方式得到可能涉及的实体类型
      2. 第二个阶段：根据第一个阶段的实体类型和任务相关的schema来提示获取其他的相关信息

我的更多AI学习笔记github

xueyongfu
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
gpt论文-HuggingGPT Solving AI Tasks with ChatGPT and
04-04
GPT-3，作为一款基于自然语言处理的先进语言模型，已经在文本生成、理解和交互上展现出卓越的能力。它在论文写作中的应用虽然仍处于初期阶段，但已经显露出巨大的潜力，有望在未来改变论文创作的方式。 GPT-3的优势...
用ChatGPT给论文降重方法
05-23
由于其强大的语义理解和生成能力，它在处理各种自然语言任务，如文本生成、问答系统、机器翻译等方面表现出色。 2. **论文降重的意义**：在学术写作中，保持论文的原创性至关重要。过度引用或直接复制他人的研究...
【论文精读】GPT-NER: Named Entity Recognition via Large Language Models
HERODING23的博客
05-03 5081
一篇2023年4月26日才挂上arxiv的文章，是我看到的第一篇用LLM解决NER任务的文章，在我看来，LLM才是NER问题的最优解，尤其是小样本场景，具有丰富先验知识的LLM，其涌现能力总能让我叹为观止。LLM在NER上的表现低于基线，这是因为二者任务不同，前者是文本生成任务，后者是序列标记任务。GPT-NER通过将序列标记任务转换为LLM的生成任务来弥补二者的差距。例如输入是Columbus is a city，输出@@Columbus## is a city，@@##是需要提取的实体的标记。
论文精读-《GPT-NER: Named Entity Recognition via Large Language Models》
qq_38146189的博客
06-25 918
大规模语言模型（LLM）在上下文学习方面展现出卓越能力，能够通过少量示例快速适应新任务，尤其在机器翻译、问答和实体抽取等NLP领域取得显著成果。然而，LLM在NER任务上的表现仍落后于监督学习方法，因为NER的序列标记特性与LLM的文本生成形式存在差异。为此，文章提出了GPT-NER模型，它通过将NER任务转化为文本生成任务来解决这一问题，使用特殊标记来标识实体。GPT-NER还引入了自我验证策略，以减少LLM在实体识别上的过度自信倾向，有效缓解了幻觉问题。
【小模型】2024属于小模型！高性能SLM最新优化方案和热门应用分享，附配套模型
wzk4869的博客
01-16 2164
【小模型】2024属于小模型！高性能SLM最新优化方案和热门应用分享，附配套模型
微软 | 把local小模型当作大语言模型的插件？
hxshine的博客
05-18 472
大语言模型想GPT-3和GPT-4权重没有开放出来，他们的参数量级太大没法部署到通用的硬件上面，导致在大规模的监督数据上做tuning非常具有挑战性。因为上下长度的限制，导致In-Context Learning（ICL）只能利用一小部分监督样本数据。本文提出了Super In-Context Learning（SuperICL），能够让黑盒的LLMs和本地的fine-tuned小模型一起结合，在监督任务中取得优越的性能。
每日学术速递5.18
与君共勉，一起学习
05-20 844
标题：Make-A-Protagonist：与专家合奏的通用视频编辑作者：Yuyang Zhao, Enze Xie, Lanqing Hong, Zhenguo Li, Gim Hee Lee文章链接：https://arxiv.org/abs/2305.08850项目代码：https://make-a-protagonist.github.io/摘要： 文本驱动的图像和视频传播模型在生成逼真多样的内容方面取得了前所未有的成功。最近，基于扩散的生成模型中现有图像和视频的编辑和变化引起了广泛关
Chatbot chatgpt 介绍 研究
02-22
ChatGPT是一款由OpenAI公司开发的先进自然语言处理模型，属于人工智能（AI）和自然语言处理（NLP）领域的最新成果。它基于GPT-3.5版本进行了改进，尤其是在理解和回应用户意图方面有着显著提升，使得对话更加连贯且...
ChatGPT科普教程
06-28
GPT模型是通过在庞大的文本语料库上进行无监督学习训练得到的，其核心在于能够生成与上下文相关的自然语言文本，这在自然语言处理（NLP）领域具有重大意义。 GPT模型的发展历程可以从最初的Transformer模型说起。...
ChatGPT应用与实战.doc
03-15
ChatGPT是由OpenAI开发的先进自然语言处理模型，它基于Transformer架构，利用预训练技术，特别是GPT（Generative Pre-training Transformer）方法，来理解和生成人类语言。ChatGPT的强大之处在于其庞大的参数量，...
增强语言模型导读
谢彦的技术博客
05-28 1205
本文介绍一篇增强语言模型综述，以及几篇最近发表的具体应用方法和框架的文章。
Small Models are Valuable Plug-ins for Large Language Models
asd8705的专栏
05-17 196
https://arxiv.org/pdf/2305.08848.pdfhttps://arxiv.org/pdf/2305.08848.pdfIn this paper, we propose Super In-Context Learning (SuperICL) which allows black-box LLMs to work with locally fine-tuned smaller models, resulting in superior performance on supervis
ChatGPT实现命名实体识别(NER, named entity recognization)和词性归类
shiyunzhe2021的博客
04-26 1465
识别这段文本中的命名实体和词性分类：毛泽东指挥中央红军三个月的时间六次穿越三条河流，转战川贵滇三省，巧妙地穿插于国民党军重兵集团围剿之间，不断创造战机，在运动中大量歼灭敌人，牢牢地掌握战场的主动权，取得了红军长征史上以少胜多，变被动为主动的光辉战例。令人惊讶的是，ChatGPT 可以直接识别出"红军长征"是一个事件名，而没有当做一个主谓结构的词组。ChatGPT 同时给出了 spacy 源代码，以及实际可能的输出结果，并都用代码框高亮显示出来。* 三个月的时间：名词短语，作时间状语。
【人工智能】自然语言处理(NLP)的突破，关注NLP在机器翻译、情感分析、聊天机器人等方面的最新研究成果和应用案例。
weixin_51306394的博客
07-16 1841
自然语言处理（NLP）作为人工智能的一个重要分支，近年来取得了显著的突破，特别在机器翻译、情感分析、聊天机器人等领域取得了显著的研究成果和广泛的应用。以下是对这些领域最新研究成果和应用案例的概述，并附带相应的代码实例。
NLP篇10 NLP总结
bluewelkin的专栏
07-17 282
针对不同任务，我们使用不同的模型和策略。例如，对于文本分类，可使用卷积神经网络（CNN）、循环神经网络（RNN）及其变体如 LSTM、GRU 等，或者基于 Transformer 架构的模型。未来，NLP 有望在更多领域取得突破，如更加准确和智能的对话系统、更强大的语言生成能力、与其他领域如计算机视觉的深度融合等。然而，NLP 仍面临诸多挑战，如处理语义歧义、理解上下文的复杂性、跨语言和多模态的处理等。同时，不断增长和多样化的数据集对于 NLP 研究和发展至关重要，为模型训练和评估提供了坚实的基础。
【NLP】关于参数do_sample的解释
weixin_43941438的博客
07-21 224
do_sample被设置为True，意味着文本生成将采用随机采样方式，而temperature参数则会影响采样时概率分布的形状，从而影响生成文本的多样性。较低的temperature值会使分布更加尖锐，减少随机性，更倾向于选择高概率的词。在自然语言处理（NLP）领域，特别是在使用神经网络模型进行文本生成时，do_sample是一个常见的参数，用于控制模型生成文本的方式。具体来说，do_sample参数决定模型是否采用随机采样（sampling）的方式来生成下一个词，还是仅仅选择最有可能的词。
RAG技术-为自然语言处理注入新动力
千里之行始于足下
07-17 766
在自然语言处理（NLP）的领域中，RAG（Retrieval-Augmented Generation）技术以其独特的方式，正在改变我们与机器的交互方式。RAG技术结合了大语言模型的强大能力，使得机器在理解和生成自然语言方面更加精准和高效。今天，我们就来探讨RAG技术如何利用大语言模型，为自然语言处理带来革命性的变化。
LLaMA: 开源的大规模语言模型
最新发布
UnityBoy的博客
07-21 409
在人工智能领域，大型语言模型（Large Language Models, LLMs）已经成为研究和应用的热点。近期，Meta（Facebook的母公司）推出了LLaMA（Large Language Model Meta AI），这是一个系列的高性能、可扩展的大规模语言模型。
大语言模型技术演进：从Transformer到ChatGPT
"本文深入探讨了ChatGPT背后的技术演进，主要聚焦于自然语言处理（NLP）的发展历程和关键转折点。NLP的发展经历了三个阶段：早期基于规则的系统，接着是统计学和神经网络的应用，以及最近Transformer模型的出现。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值