一文读懂LLM参数设置，实现大模型应用的最佳性能

已于 2024-09-04 17:25:24 修改
阅读量388 收藏 4
点赞数 3
文章标签： 人工智能 语言模型 ai 自然语言处理 agi LLM LangChain
于 2024-08-12 12:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85325557/article/details/141087542
版权

在这里插入图片描述

引言

可以预见的是，通过生成模型，和通用模型，AI正在不断重塑整个数字化世界，在2024年我们看到LLM 应用像雨后春笋一样，基于LLM开发大模型应用已经逐渐成为程序员掌握的必备技能。

本文将重点介绍开发LLM 应用时，LLM基本参数的重要性，指导通过LLM 参数的设定可以提高应用的性能。

如何掌握temperature、top_p、max_length参数以实现最佳LLM表现？

在设计和测试LLM 应用的提示时，通常需要通过 API 与 LLM 进行交互。API可以配置一些参数以获得不同的提示结果。调整这些设置对于提高响应的可靠性和可取性非常重要，需要进行一些实验才能找出适合您用例的设置。以下文章内容将对不同LLM 之间常见的设置进行解释，并提供设置指导。

优化LLM性能的关键设置

温度

_温度_是一个控制模型输出随机性的基本设置。较低的温度通过偏向高概率标记使结果更具确定性,而较高的温度则引入更多变化性和创造性。

示例:
对于基于事实的任务(如回答问题或总结文本),较低的温度(如0.2)可确保简洁准确的回答。相比之下,对于创意写作任务(如诗歌生成或头脑风暴),较高的温度(如0.8)可以产生更多样化的输出。

要点

  • 较低温度 = 更确定性的回答
  • 较高温度 = 更具创意和多样性的回答
  • 根据任务要求调整

Top P(核采样)

_Top P_通过仅考虑构成生成每个标记的顶级累积概率质量的标记子集来控制回答的多样性。

示例:
较低的Top P值(如0.1)将输出限制为高概率标记,适合生成事实性内容。较高的Top P值(如0.9)允许输出更多样化,适合需要创意的任务。

要点

  • 低Top P = 自信精确的答案
  • 高Top P = 多样化和创意输出
  • 使用_温度_或_Top P_,但不要同时使用两者

最大长度

_最大长度_定义了对提示的回应中生成的标记数量。

示例:
设置适当的最大长度可以防止过长或无关的回答,同时控制与标记使用相关的成本。

要点

  • 有效管理回答长度
  • 防止无关或冗长的输出
  • 通过控制标记使用优化成本

停止序列

_停止序列_是一个信号模型停止生成更多标记的字符串。

示例:
要生成不超过十个项目的列表,使用"11"作为停止序列,在列出十个项目后停止输出。

要点

  • 精确控制回答长度
  • 确保结构化输出
  • 使用针对特定任务定制的停止序列

频率惩罚 & 存在惩罚

两种惩罚都减少重复,但应用方式不同:

  • 频率惩罚：较高的值会抑制回答中重复的单词。
  • 存在惩罚：对所有重复的标记施加相等的惩罚,不考虑频率。

示例:
对于多样化的文本生成,使用较高的惩罚；对于聚焦的内容重复控制,根据需求相应调整。

要点

  • _频率惩罚_按比例减少单词重复。
  • _存在惩罚_平等地抑制任何重复短语。
  • 根据所需结果一次调整一个惩罚。

最后的最后

感谢你们的阅读和喜欢，我收藏了很多技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
在这里插入图片描述

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

在这里插入图片描述

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

在这里插入图片描述

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

模型优化师
关注
LLM的生成配置中参数含义
Criss@陈磊
08-17 691
top-k 参数会让模型不会总是选择top 1 权重的结果返回，从而提高了返回的多样性，同时也保证了输出的正确性。如果返回apple，虽然这个单词也在前三的权重里，但是它的权重就非常地了，因此相关性也就比较弱，这样返回的结果就会不是很好了。这其实又有效的避免了前面 top-k 参数的问题。token相信大家都不陌生了，现在在常用的 chatGPT 使用过程中个就有 token 的概念，这里的参数是 Max new tokens 的设置，是最大的新 token 的数量，是一个上限值。
大语言模型超参数入门调参手册
2401_82469710的博客
05-05 1363
在人工智能的广阔天地中，大语言模型（LLM）正以其强大的能力，不断刷新我们对机器理解语言的认知。然而，要使这些模型在特定应用场景下发挥最大效能，关键在于如何巧妙地调整其超参数。
一文读懂：LoRA实现大模型LLM微调
weixin_42010722的博客
06-08 9628
在深度学习中，权重矩阵通常具有完整秩，这意味着权重矩阵的行或列之间没有线性相关关系，也就是说，每个权重在模型中承担了不同的作用，没有冗余。权重矩阵具有完整秩的好处是，模型可以通过学习到的权重进行准确的预测和分类。通过使用低秩矩阵，我们可以降低参数的数量，减少计算和存储的开销，并且仍然保留了大部分原始权重矩阵的关键信息。因此，虽然预训练模型的权重在预训练任务中具有完整秩，但LoRA的作者指出，当预训练的大型语言模型适应新任务时，其固有维度很低，这是根据Aghajanyan等人的研究（2020）得出的。
一文读懂 LLM（大语言模型）生态【大模型行业应用入门系列】
qingkahui24689的博客
08-12 1060
本篇将重点介绍大模型生态。通常情况下，大模型的开发和应用需要依赖于围绕它们构建的工具生态系统。因此，在实际的业务场景中，我们不仅需要了解如何使用这些工具来构建和部署大模型，还需要了解这些工具的设计和工作原理。
一文读懂 LLM Datesets （大语言模型数据集）【大模型行业应用入门系列】
qingkahui24689的博客
08-13 658
在利用和应用大型语言模型（LLM）时，适当的 Datasets 发挥着至关重要的作用。本文介绍了几种不同类型的LLM Datasets、Datasets 如何在 LLM 中发挥其作用，以及如何利用LLM Datesets。随着大模型越来越成熟、稳定，业内人士预估2024年将会进入大模型应用元年。twt社区推出**【大模型行业应用入门系列】**文章，为相关人员提供必要的基础知识储备，后续还将推出实践系列，以应对大模型在各个行业的广泛应用带来的挑战，欢迎关注公众号每周的内容更新。
一文读懂LLM API应用开发基础(万字长文)
极限突破者的博客
06-23 1234
Hello，大家好，我是GISer Liu😁，一名热爱AI技术的GIS开发者，上一篇文章中我们详细介绍了LLM开发的基本概念，包括LLM的模型、特点能力以及应用；😲LLM名词解释API申请Python代码调用测试提示词工程Prompt Engine帮助读者快速理解如何入门LLM开发，并将LLM与我们的传统开发的工作业务联系起来；本文中，作者详细介绍了LLM 开发的入门知识；名词解释：了解 LLM 的基础名词解释可以帮助读者更好地理解 LLM 开发中的思想过程，避免产生歧义。API申请。
一文读懂 LLM 如何进行微调？
qianggezhishen的专栏
08-26 1275
虽然把预训练的大型语言模型（LLMs）的所有层都微调一遍，是让它们适应新任务的最好办法，但咱们本文中列举的这些方法，像基于特征的方法、上下文学习，或者用那些参数少、效率高的微调技术，这样既能达到目的，又能省不少计算资源。本文中提及了三种常用的方法：一个是用模型提取的特征来训练新模型；一个是只微调模型的输出层；还有一个是把模型所有层都微调一遍。这三种方法各有利弊，计算效率高的，可能效果就一般；效果好的，计算成本可能就高。
一文读懂“大语言模型”
热门推荐
明明如月的技术博客
05-22 1万+
深度学习是机器学习的分支，大语言模型是深度学习的分支。机器学习是人工智能（AI）的一个子领域，它的核心是让计算机系统能够通过对数据的学习来提高性能。在机器学习中，我们不是直接编程告诉计算机如何完成任务，而是提供大量的数据，让机器通过数据找出隐藏的模式或规律，然后用这些规律来预测新的、未知的数据。深度学习是机器学习的一个子领域，它尝试模拟人脑的工作方式，创建所谓的人工神经网络来处理数据。这些神经网络包含多个处理层，因此被称为“深度”学习。
一文读懂：大模型RAG
2401_85779703的博客
06-17 1190
选择特定路由的过程是通过大语言模型调用来实现的，其结果按照预定义的格式返回，以路由查询指定的索引。如果是涉及到关联操作，这些查询还可能被发送到子链或其他智能体，如下面的。
一文读懂高维数据异常检测的降维策略
程序员光剑
05-24 443
一文读懂高维数据异常检测的降维策略 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 高维数据的诅咒与异常检测难题 随着信息技术的飞速发展，各行各业积累的数据量呈爆炸式增长，其中高维数据占据了越来越大的
一文看懂llama2（原理&模型&训练）
Qpeterqiufengyi的博客
06-08 1507
一文看懂llama2（原理&模型&训练）
ollama 开源大语言模型平台
汽车软件开发
04-18 1924
环境准备：首先，需要提前安装Ollama框架。这是使用Ollama进行模型开发的基础条件38。下载模型：接着，需要下载需要自定义的大语言模型。这一步骤是必要的，因为只有拥有了模型的本地副本，才能对其进行进一步的自定义操作38。运行模型：确保能够成功运行已下载的大语言模型。这意味着需要具备一定的技术能力或知识，以确保模型能够在本地环境中正常运行38。准备system prompt：为了与模型进行交互，需要提前准备一段system prompt。这个提示将指导模型如何响应用户的请求或指令38。
LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ）
丨汀、的博客
05-22 1291
LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ）
【AI大模型】Kimi API大模型接口实现
最新发布
qq_25888559的博客
09-15 679
Kimi智能助手在效率（免费榜）排名从2024年1月14日的第436名提升至3月19日的第11名。而尚未上线的GPT-4.5 Turbo上下文窗口指定为25.6万个token，能同时处理约20万个单词，Kimi升级后，长文本能力为其10倍。在2023年10月初次亮相时，该模型的处理能力还仅有约20万汉字。2024年3月18日，月之暗面宣布Kimi智能助手启动200万字无损上下文内测。
生成式人工智能在新加坡的发展现状和地位
wukangjupingbb的博客
09-11 1065
依据国际隐私专业人员协会(IAPP)的相关报告，2020年，上述两机构更新了该模型框架，发布了第二版，并推出了《组织实施和自我评估指南》，帮助组织评估其人工智能治理实践与型框架的匹配程度，还发布了《案例汇编》，展示了组织如何实施负责任的人工智能治理实践。2019年，金融管理局宣布与金融行业合作创建Veritas框架，为金融机构提供可验证的方法，将FEAT原则纳入其人工智能和数据分析驱动的解决方案中。新加坡在人工智能治理方面采取了部门性的方法，即通过各个行业的监管机构来管理人工智能的使用。
从AI到大数据，数字技术服务平台全栈赋能企业升级
smjt2024的博客
09-11 623
海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值