博客摘录「 Prompt-Tuning——深度解读一种新的微调范式」2023年5月20日

最新推荐文章于 2024-10-08 16:04:22 发布
最新推荐文章于 2024-10-08 16:04:22 发布
阅读量46 收藏
点赞数
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45718095/article/details/130785851
版权

训练目标：当模型遇见 [mask] token时，则根据学习得到的上下文语义去预测该位置可能的词，因此，训练的目标是对整个词表上的分类任务，可以使用交叉信息熵作为目标函数。

weixin_45718095
关注
51-8 GPT，GPT2，GPT3 论文精读
AIgraphX
01-11 1735
GPT系列让大家发现大模型是可以大力出奇迹的。
Arixv 2403 | Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey
画心
04-02 686
在当前以大型模型和大型数据集为主导的时代，PEFT 作为一种非常有吸引力的方法脱颖而出，可以有效地使模型适应下游任务。该技术通过解决传统全模型微调带来的重大挑战而获得吸引力，传统全模型微调通常对普通用户提出难以满足的计算和数据需求。PEFT 的有效性通常对其超参数敏感，例如适配器瓶颈尺寸、LoRA 秩以及不同附加性 PEFT 层的放置。手动调整这些超参数将花费大量精力。因此，未来的努力可以集中在开发更少依赖手动调整这些参数的方法，或者自动找到最佳的超参数设置。
熬夜整理—— RAG其核心范式、关键技术及未来趋势
2401_84204207的博客
06-15 1591
随着 RAG 技术的进一步发展和演变，新的技术突破了传统的 Naive RAG 检索 — 生成框架，基于此我们提出模块化 RAG 的概念。随着 LLMs 的潜力被进一步开发，旨在提升模型的可控性并满足不断演变的需求，RAG 的研究逐渐聚焦于增强推理能力，并且也探索了在微调过程中的各种改进方法。• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
RAG的10篇论文-2024Q1
我相信......
04-21 4076
大模型来了，论文都读不过来了。在大型模型的研究与工程应用领域，变化之迅猛令人瞠目，用“日新月异”来形容似乎都显得有些保守。即便是针对其中的RAG技术，自2024年伊始至今，学界就已经涌现出了很多高质量的研究论文。在这里，老码农挑选了十篇具有代表性的作品，以期对大家的探索和实践提供有益的参考与启示。1. RAG与微调：流水线、权衡和一个农业案例的研究论文标题：RAG vs Fine-tuning:...
Datawhale AI 夏令营第四期 大模型技术-微调 task2 baseline1精讲
spring5的博客
08-14 1021
大语言模型（英文：Large Language Model，缩写LLM），也称大型语言模型，是一种人工智能模型，旨在理解和生成人类语言。通常，大语言模型 (LLM) 指包含数十亿Billion或更多）参数的语言模型，这些模型在大量的文本数据上进行训练，例如国外的有GPT-3 、GPT-4、PaLM 、Galactica 和 LLaMA 等，国内的有ChatGLM、文心一言、通义千问、讯飞星火等。大模型的能力和特点（1）大模型的能力。
【带你全面了解 RAG，深入探讨其核心范式、关键技术及未来趋势】
2401_85375186的博客
07-09 1319
大型语言模型（LLMs）已经成为我们生活和工作的一部分，它们以惊人的多功能性和智能化改变了我们与信息的互动方式。然而，尽管它们的能力令人印象深刻，但它们并非无懈可击。这些模型可能会产生误导性的 “”，依赖的信息可能，处理特定知识时的深度洞察，同时在推理能力上也有所欠缺。在现实世界的应用中，数据需要不断更新以反映最新的发展，生成的内容必须是透明可追溯的，以便控制成本并保护数据隐私。因此，简单依赖于这些 “黑盒” 模型是不够的，我们需要更精细的解决方案来满足这些复杂的需求。
专补大模型短板的RAG有哪些新进展？这篇综述讲明白了
python1222_的博客
08-16 1273
同济大学王昊奋研究员团队联合复旦大学熊赟教授团队发布检索增强生成（RAG）综述，从核心范式，关键技术到未来发展趋势对 RAG 进行了全面梳理。这份工作为研究人员绘制了一幅清晰的 RAG 技术发展蓝图，指出了未来的研究探索方向。同时，为开发者提供了参考，帮助辨识不同技术的优缺点，并指导如何在多样化的应用场景中最有效地利用这些技术。大型语言模型（LLMs）已经成为我们生活和工作的一部分，它们以惊人的多功能性和智能化改变了我们与信息的互动方式。然而，尽管它们的能力令人印象深刻，但它们并非无懈可击。
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.07.05-2024.07.10
小小帅
07-11 790
标题:人工直觉科学摘要的高效分类摘要对科学短文（如拨款或出版物摘要）进行粗略分类，以用于战略洞察或研究组合管理，是非常可取的。这些文本能将密集的信息有效地传递给拥有丰富知识的专家，帮助他们进行解读。然而，由于篇幅简短且缺乏上下文，这项任务很难实现自动化。为了弥补这一不足，我们开发了一种新颖的方法来生成和适当分配粗略的特定领域标签。我们表明，大语言模型（LLM）可以提供对这项任务至关重要的元数据，这一过程类似于代表人类直觉的补充知识的增强，我们还提出了一个工作流程。
【一千个论文合集】计算机科学的26个细分领域近年必读论文集合
AI_Conf的博客
05-11 1万+
AMiner必读论文是一个可以帮您了解某个领域、机构、期刊、会议的学术专辑，包括必读论文和代表学者，由AI初筛+学者复核后提供给您，您可以收藏为自己的论文清单
Prompt-Tuning：深度解读一种全新的微调范式
10-31
Prompt-Tuning是一种新兴的微调方法，它针对预训练语言模型（LLM）进行优化，以适应各种自然语言处理（NLP）任务。这一技术在人工智能生成内容（AIGC）时代尤其受到关注，因为超大规模模型如GPT-3等正逐渐成为对话式...
Prompt-Tuning——深度解读一种新的微调范式
热门推荐
夏栀的博客
11-19 7万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
大模型微调-方法(2)：Prompt Tuning：深度解读一种新的微调范式
u013250861的博客
05-10 488
这绝对是我看过最全面细致的Prompt Tuning技术综述之一，全文共五万多字，看完之后你一定发出一样的感叹！
LLM微调 | Prefix-Tuning, Prompt-Tuning, P-tuning, P-tuning-v2
weixin_43646592的博客
07-31 2062
LLM微调 | Prefix-Tuning, Prompt-Tuning, P-tuning, P-tuning-v2
C++学习笔记----8、掌握类与对象（四）---- 不同类型的数据成员（1）
weixin_71738303的博客
10-05 894
c++对于数据成员给了你许多选项。除了在类中声明简单的数据成员，可以生成静态数据成员供所有类的对象共享，const成员，引用成员，reference-to-const成员，等等。本节我们解释一下这些不同类型的数据成员的细节。
（笔记）第三期书生·浦语大模型实战营（十一卷王场）–书生基础岛第5关---XTuner 微调个人小助手认知
haidizym的博客
10-06 387
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1tz421B72y/课程文档：关卡作业：https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/XTuner/task.md开发机平台：https://studio.intern-ai.org.cn/
gligen安装部署笔记
jacke121的专栏
10-08 109
gligen安装部署笔记
（笔记）第三期书生·浦语大模型实战营（十一卷王场）--书生入门岛通关第2关Python 基础知识
haidizym的博客
10-02 523
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1mS421X7h4/课程文档：https://github.com/InternLM/Tutorial/tree/camp3/docs/L0/Python。
【学习笔记】零基础入门汇编语言（ARM架构+汇编的实际应用）
最新发布
2203_75993546的博客
10-08 736
汇编语言（Assembly Language）是任何一种用于电子或其他可编程器件的低级语言，亦称为。在汇编语言中，用代替的，用地址符号或代替指令或的地址。在不同的设备中，汇编语言对应着不同的，通过汇编过程转换成机器指令。特定的汇编语言和特定的机器语言指令集是的，不同平台之间不可直接移植。汇编是上世纪五十年代人们为了摆脱机器语言的繁琐而创造的，因此，比起机器语言，汇编语言具有更高的机器，更加便于记忆和书写，但又同时保留了机器语言高速度和高效率的特点。但汇编语言仍是。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值