大语言模型的超参数含义： Top-P 采样； Top-P 采样；logit_bias：

于 2024-09-01 16:30:00 发布
阅读量102 收藏
点赞数 5
分类专栏： 2024算力共享 教学 2021 AI python 文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38998213/article/details/141786058
版权
教学 同时被 3 个专栏收录
268 篇文章 20 订阅 ¥89.90 ¥99.00
订阅专栏
2021 AI python
238 篇文章 16 订阅 ¥89.90 ¥99.00
订阅专栏
2024算力共享
96 篇文章 0 订阅 ¥199.90 ¥299.90
订阅专栏 超级会员免费看

目录

大语言模型的超参数含义

 Top-P 采样

频率惩罚（Frequency Penalty）

top_k:

logit_bias：

top_logprobs：

max_tokens：

大语言模型的超参数含义

 Top-P 采样

  • 含义：一种采样替代方法，称为核采样。模型考虑top_p概率质量的token结果。例如，0.1表示仅考虑组成前10%概率质量的token。
  • 作用：这种方法可以限制输出序列的长度，并仍然保持样本的一定多样性。

频率惩罚（Frequency Penalty）

  • 含义：该参数的值范围为-2.0到2.0。正值会对新token进行惩罚，基于其在当前文本中的出现
了解本专栏 订阅专栏 解锁全文
ZhangJiQun&MXP
关注
  • 5
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
yolov8知识蒸馏代码详解：支持logit和feature-based蒸馏
@bangbang的博客
12-27 4389
特别地，在COCO数据集上对MAP中的RetinaNet检测器(resnet50主干）获得了3.4%的性能提升，在Cityscapes数据集上, 针对mIoU指标，PSPNET(resnet-18 backbone）获得5.81%的性能提升。大部分的KD方法都是通过algin学生网络和教师网络的归一化的feature map, 最小化feature map上的激活值的差异。MGD是一种真正通用的基于特征feature的知识蒸馏方法，它可以用于各种任务，包括图像分类，目标检测，语义分割和实例分割。
LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
热门推荐
结构之法 算法之道
03-22 7万+
还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分，但但随着研究深入 为避免该文篇幅又过长，将把『第4部分 开源项目』抽取出来 独立成本文。
LLMs之Baichuan2：《Baichuan 2: Open Large-scale Language Models》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-07 2616
​ LLMs之Baichuan2：《Baichuan 2: Open Large-scale Language Models》翻译与解读 目录 相关文章 《Baichuan 2: Open Large-scale Language Models》翻译与解读 Abstract摘要 1Introduction引言 2Pre-training预训练 3 Alignment对齐=SFT+RLHF(RM+RL)
FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding
小李的研究生学习日记
09-27 1万+
FSCE：通过对比建议编码进行少样本目标检测新出现的兴趣已被用于识别以前看不见的对象，因为训练示例很少，称为少镜头对象检测 (FSOD)。最近的研究表明，良好的特征嵌入是获得良好的少样本学习性能的关键。我们观察到具有不同 Intersection-ofUnion (IoU) 分数的对象提议类似于对比方法中使用的图像内增强。我们利用这种类比并结合监督对比学习，在 FSOD 中实现更稳健的对象表示。
correct-softmax:谷歌youtube召回修正样本采样双塔模型
rosefun96的博客
11-13 1053
谷歌团队在2019年提出的基于采样偏差修正的双塔模型。
从零实现ChatGPT:第三章实现大型语言模型（2）
jiayoushijie的博客
06-10 1341
层归一化通过确保每一层的输出具有一致的均值和方差来稳定训练。快捷连接是跳过一个或多个层的连接，通过将一个层的输出直接馈送到更深层来帮助缓解深度神经网络(如LLMs)训练中的梯度消失问题。Transformer块是GPT-2模型的核心结构组件，结合了带掩码的多头注意力模块和使用GELU激活函数的全连接前馈网络。GPT-2模型是具有许多重复transformer块的LLMs，参数数量从数亿到数十亿不等。
openai类模型的超参数含义
qq_43814415的博客
06-26 569
重要提示：使用JSON模式时，你必须通过系统或用户消息指示模型生成JSON，否则模型可能会生成无限的空白，直到达到token限制，导致请求长时间运行且看似“卡住”。设置后，会像ChatGPT那样发送部分消息delta，生成的token以数据服务器发送事件形式发送，终止时发送data: [DONE]消息。一个在0到20之间的整数，指定在每个token位置返回最有可能的token数量，每个token都附带其log概率。正值会对新token进行惩罚，基于其在当前文本中的出现频率，从而减少模型重复相同行的可能性。
【论文总结】FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding（附翻译）
小张好难瘦的博客
11-05 2614
论文地址：https://arxiv.org/pdf/2103.05950.pdf 代码地址：http://https: //github.com/MegviiDetection/FSCE 摘要 Emerging interests have been brought to recognize previously unseen objects given very few training examples, known as few-shot object detection (FSOD). Re
使用 Apple 的 MLX 框架在 Apple Silicon 上部署运行大型语言模型 (Llama 3)
php源码
08-01 680
MLX 受到 PyTorch、Jax 和 ArrayFire 的启发，是 Apple Machine Learning Research 专为 Apple 芯片设计的模型训练和服务框架。它支持一系列机器学习任务，包括大规模文本生成、图像生成和语音识别。该框架与 Hugging Face 集成，可实现模型的无缝加载和服务。Apple 在你的笔记本电脑或数据中心进行机器学习研究。
Prompt-Tuning——深度解读一种新的微调范式
夏栀的博客
11-19 7万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
文件标题：Safe-Student: 一种用于安全的深度半监督学习与未知类无标签数据的方法
145850Safe-Student用于安全的深度半监督学习与未知类无标签数据0Rundong He �0山东大学0rundong he@mail.sdu.edu.cn0Zhongyi Han *山东大学0hanzhongyicn@gmail.com0Xiankai Lu 山东大学0carrierlxk@gmail....
【YOLOv10改进- Backbone主干】BiFormer: 通过双向路由注意力构建高效金字塔网络架构 | 小目标
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-04 291
作为视觉Transformer的核心构建模块，注意力机制是捕捉长距离依赖关系的强大工具。然而，这种强大的功能也伴随着巨大的计算负担和大量的内存占用，因为需要计算所有空间位置上的成对标记交互。一系列研究尝试通过引入手工制作且内容无关的稀疏性来缓解这一问题，例如将注意力操作限制在局部窗口、轴向条纹或扩张窗口内。与这些方法不同，我们提出了一种新颖的动态稀疏注意力通过双层路由，以实现具有内容感知能力的更灵活的计算分配。
【YOLOv10改进-注意力机制】DAT（Deformable Attention）：可变形注意力
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-06 322
Transformer最近在各种视觉任务中表现优异。全局的感知域使Transformer模型比CNN具有更强的表示能力。然而，简单地扩大感受野也引起了一些问题。一方面，使用较为密集的注意力，例如在ViT中，会导致过多的内存和计算成本，并且功能可能会受到超出兴趣区域的无关部分的影响。另一方面，在PVT或Swin Transformer中采用的较为稀疏的注意机制是与数据无关的，这可能会限制对于长距离关系的建模能力。
建筑业AI的崛起The Rise of AI and Machine Learning in Construction
Climbman的博客
08-25 797
NSDT工具推荐建筑领域完全可以从机器学习和人工智能（AI）的出现中受益。作为 Autodesk BIM 360 Project IQ 团队的一员，我有幸参与 Autodesk 进军建筑机器学习领域。本文总结了这一领域的发展，并介绍了人们可以准备从这项技术中实现价值最大化的一些方法，包括对人工智能和机器学习在建筑中的一些应用及其潜在影响的广泛调查。这些流程正在各个领域发生变化，包括风险管理、进度管理、分包商管理、施工现场环境监控和安全等。
【机器学习】.fit_transform()跟.transform()的区别
最新发布
2301_81133727的博客
08-31 348
在您的输出中，训练数据和测试数据的编码结果可能看起来不一致，这是因为训练数据中的类别和测试数据中的类别不完全匹配。然而，您的输出结果似乎假设了训练数据和测试数据中有相同的类别，这在实际情况中可能不是真的。默认将每个特征的每个唯一值转换成一个二进制特征，其中1表示该类别存在，0表示不存在。对于测试数据，我们有两个样本，每个样本有两个特征是1。，所以在第二个和第五个特征上是1，其余是0。参数，这样对于未知的类别，编码器会输出全0。，所以第一个和第四个特征是1，其余是0。用于训练数据来学习类别并转换它们，而。
机器学习 之 DBSCAN算法 及实现
m0_73697499的博客
08-28 1251
通过上述步骤，我们完成了 DBSCAN 聚类分析的过程。灵活性：DBSCAN 不需要预先知道簇的数量。噪声处理：DBSCAN 能够有效地识别和排除噪声点。任意形状簇：DBSCAN 能够发现任意形状的簇。在本实验中，我们不仅实现了 DBSCAN 算法，还通过轮廓系数得分来评估聚类结果的质量。DBSCAN 的这些特性使其在处理复杂数据集时特别有用，尤其是在需要识别噪声和发现不规则簇形状的情况下。
机器学习（ML）算法分类
m0_46171719的博客
08-28 189
机器学习算法种类繁多，每种算法都有其独特的优势和适用场景。在选择算法时，需要根据具体问题的性质、数据的特征以及预期的结果来综合考虑。同时，随着机器学习技术的不断发展，新的算法和模型不断涌现，为解决复杂问题提供了更多的可能性。机器学习（ML）算法是一个广泛而多样的领域，涵盖了多种用于数据分析和模式识别的技术。监督学习算法使用标记（即已知结果）的训练数据来训练模型，以便对新数据进行预测。无监督学习算法不需要标记的训练数据，而是从数据中自动发现隐藏的模式或结构。
《陈天奇：机器学习科研的十年》阅读笔记
bunny___的博客
08-27 1104
陈天奇是机器学习领域著名的青年华人学者之一，本科毕业于上海交通大学ACM班，博士毕业于华盛顿大学计算机系，研究方向为大规模机器学习。2019年，陈天奇在Twitter上宣布自己将于2020年秋季加入CMU任助理教授，成为加入CMU的年轻华人学者之一。 在本文中，陈天奇回顾了自己做机器学习科研的十年。 然后，我也写了一些自己的科研心得。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZhangJiQun&MXP

等到80岁回首依旧年轻

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值