Text Classification via Large Language Models

Abstract

表达大模型在文本分类上做的不好。
原因:
1、处理复杂语境时缺少推理能力。(e.g… 类比、讽刺)
2、限制学习的上下文的token数。
提出了自己的策略:
** Clue And Reasoning Prompting (CARP).线索与推理提示**
1、能用prompt找到clue(语境线索)
2、能使用K-最近邻算法在上下文的学习中,使得能利用LLM的泛化性和具体任务的全标签功能。
ICL(in-context learning)。

introduction

带有ICL的LLM的效果不如微调后的文本分类模型原因:
1、LLM的推理能力不行
2、上下文学习受限,the longest context allowed for GPT-3 is 4,096 subtokens.
所以比监督学习(文本分类模型)的效果要差一些。

related work

大模型可以泛泛的被分为三类:
1、encoder-only:Bert
2、decoder-only:GPT
3、encoder-decoder:T5

prompt Construction (优化结构)

通过input对于语句的判断(sentiment is positive or negative)做引导,证明这种可行性只需要在few-shot证明即可。
在这里插入图片描述
prompt样例👆

选取输入样例

1、Random:没什么的特殊的,随机选样。
2、kNN Sampling:把 x t e s t x_{test} xtest使用一个encoder模型,选出和 x t e s t x_{test} xtest相近的k个数据,选取相近sentence的方法:
1.SimCSE:基于语义模型做的检索语义相似的example,但是不一定是具有相同标签的示例。
2.Finetuned Model:CARP使用在训练数据集上微调的模型作为kNN编码器模型。
个人理解是在训练前加入了一个encoder模型,然后有针对性的(取相似Q&A)作为大模型的prompt。

线索收集与推理

整个过程是模范(mimics)人的步骤来进行的。

Overview

Clue

表现的更多是一些浅显的词汇分词意思。

Reasoning

表现的是一种通过理解语句的逻辑推理,更深层次的论证,所以更像人类的决定。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
该资源内项目源码是个人的课程设计、毕业设计,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! ## 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。 该资源内项目源码是个人的课程设计,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! ## 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值