如何将大模型应用到自己的业务中?7种大模型应用方式和代表论文总结

来自:圆圆的算法笔记

进NLP群—>加入NLP交流群

如何将大模型应用落地到自己的业务或工作中?这篇文章整理了7种目前业内最常用的大模型应用方法,以及各个方法的代表论文。通过对各种应用大模型方法的特点对比,找到最适合自己场景的应用方法。

1

Pretrain-Finetune

直接针对下游任务进行全量参数或者部分参数的finetune,在BERT时期是主要的大模型应用方式。其局限性是成本较高,灵活性较差,需要针对每个任务单独finetune和保存一组模型,可复用性较低。

2

Prompt

Prompt是GPT以来的一种大模型应用方式,基于生成式语言模型(Transformer Decoder),将下游任务通过prompt的形式转换成完形填空任务,让模型预测缺失部分的文本,再将文本映射回对应任务的label。Prompt方式完全不进行大模型finetune,只利用大模型内部的知识,让下游任务反向适配预训练任务。其缺陷在于效果非常依赖于人工定义的prompt。

3

Prompt-tuning

Prompt-tuning不人工设定prompt,而是将其转换为可学习的向量。例如原来的prompt为The capital of Y is ...,这里Y是上下文,其他部分是prompt模板,那么prompt-tuning将这些明文的prompt token全部替换成可学习的向量,基于训练数据对模型进行finetune,只finetune这些prompt embedding,模型主体参数固定不变。。这种方式不再依赖人工定义prompt明文模板,交给模型自己去学,同时需要finetune的参数量也比较小。

代表论文:P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks(2021)、GPT Understands, Too(2021)

9e6bad5d10d49d5a8fd63431d3759d6b.png

4

Prefix-tuning

与prompt-tuning的思路非常类似,prefix-tuning在输入文本前面加入一些任务特定的可学习参数,这些参数跟随下游任务做finetune,预训练模型整体参数固定不变。Prefix-tuning和prompt-tuning是同一时期的两类工作,二者核心思路是相同的,都是用一小部分参数的finetune(prefix对应的前缀向量,或prompt对应的模板向量)让大模型适配下游任务,二者区别不大。

代表论文:Prefix-Tuning: Optimizing Continuous Prompts for Generation(2021)

8784af6344a48f51844eca8743fb292e.png

5

Adapter-tuning

在大模型的中间部分加一个参数量较小的网络结构(即adapter),大模型整体参数freeze不变,只更新adapter部分的参数。Adapter一般采用bottleneck的结构,缩小参数量。本质上也是一种通过少量参数的更新影响大模型整体参数的finetune方式。

代表论文:Parameter-Efficient Transfer Learning for NLP(ICML 2019)

324444dbb1777fb0610e97a4c4b4262d.png

6

Instruction-tuning

Instruction-tuning将所有下游的各类NLP任务都转换为自然语言,在大模型的基础上finetune全部参数,finetune的目标就是语言模型,通过这种方式让预训练大模型适应人类的指令(即人类描述各类NLP任务,并要求模型给出答案的语言范式),进而有效解决各类NLP任务,具备强大的zero-shot learning能力。

719b18cd38e994a09c3f563b983c84f6.png

7

Knowledge Distillition

从大模型中获取数据,用获取到的数据训练尺寸更小的模型,过程中结合思维链等技术,让模型生成更有价值更准确的训练数据。这种方式也是成本最低,但是可能很有效果的方法。最简单的就是直接调用ChatGPT或者GPT4的接口获取想要的数据,核心是如何设计prompt让黑盒大模型输出我们想要的结果。

代表论文:Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes


进NLP群—>加入NLP交流群

  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 作为攻读上海海事大学管理科学与工程的物流科学与管理专业博士学位的学生,您的学习计划和研究设想可能包括以下几个方面: 1. 学习计划:博士阶段的学习计划需要结合自身的专业背景和研究兴趣,具体包括但不限于以下几个方面: - 课程学习:根据个人兴趣和需求,选择适合自己的课程,如物流管理、供应链管理、运筹学等,积累理论知识和实践经验。 - 学术交流:参加国内外学术会议、讲座等,了解前沿研究进展和研究热点。 - 科研训练:参与导师的科研项目、实验室工作,提高科研能力和实践能力。 - 学位论文:积极开展博士论文的写作和论文答辩准备工作,争取早日完成博士学业。 2. 研究设想:博士阶段的研究设想需要充分考虑前沿研究趋势和行业需求,同时关注自身的研究兴趣和能力。以下是一些可能的研究方向: - 物流信息技术应用研究:探索基于人工智能、大数据等新技术的物流信息系统建设、运营管理和效果评估。 - 物流供应链可持续发展研究:研究物流供应链在环境、社会、经济三个方面的可持续发展问题,探索提高供应链绿色化、社会责任和经济效益的方式和方法。 - 物流网络优化研究:探索利用运筹学和数学优化方法优化物流网络的物流配送路线、运输模式、仓库布局等问题。 - 物流风险管理研究:研究物流过程的风险因素和风险管理策略,提出基于风险管理的物流规划和决策方法。 总之,博士阶段的学习计划和研究设想需要在导师和学院的指导下进行制定和调整,同时需要持续关注学科前沿和行业发展,积极参与学术交流和实践训练,不断提高自身的科研 ### 回答2: 我对攻读上海海事大学管理科学与工程的物流科学与管理专业博士学位充满兴趣,并有以下学习计划和研究设想。 首先,在学术方面,我计划广泛阅读物流科学与管理领域的经典著作和最新研究成果,以了解当前该领域的前沿问题和发展趋势。我将参加相关学术会议和研讨会,并与其他研究者和学者交流,以扩展我的学术视野。 其次,我将深入研究物流网络优化、供应链管理、物流成本控制和信息技术在物流业应用等方面的知识。我希望能探索和研究如何通过优化物流网络设计和布局、提高供应链协调性、降低物流成本和提高物流效率来促进物流行业的发展。 此外,我计划进行实地调研和案例分析,以了解实际物流运营的困难和挑战,并提出相应的解决方案。我还希望能与物流企业合作,开展实证研究,验证和应用理论模型,为实践的物流问题提供可行的解决方案。 在研究设想方面,我有意探索如何利用大数据和人工智能技术来优化物流管理和决策。随着物流业务数据的不断增加和信息技术的快速发展,这个领域存在着巨大的机会和挑战。我希望能开展相关研究,探索如何利用大数据分析方法、智能算法和预测模型等技术来提高物流网络的效率和鲁棒性。 总之,我对攻读上海海事大学管理科学与工程的物流科学与管理专业博士学位充满热情,并已制定了详细的学习计划和研究设想。我希望能够在这个专业深入学习和研究,为物流行业的发展做出贡献。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值