Transformers生成文本：max_new_tokens揭秘

于 2025-06-04 17:13:31 发布
阅读量55 收藏 1
点赞数 1
分类专栏： 教学 2024大模型以及算力 2021 AI python 文章标签： llama transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38998213/article/details/148430800
版权
教学 同时被 3 个专栏收录
1488 篇文章 ¥199.90 ¥299.90
订阅专栏
2021 AI python
1079 篇文章 ¥199.90 ¥299.90
订阅专栏
2024大模型以及算力
887 篇文章 ¥199.90 ¥299.90
订阅专栏

设置max_new_tokens，就会自动截断，获取的是新的生成的文本吗？

在 Hugging Face Transformers 中，max_new_tokens 参数会限制模型生成的新 token 数量，并且返回的 test_outputs 通常只包含新生成的内容（不包括原始输入）。

一、max_new_tokens 的核心作用

1. 控制生成的新 token 数量
test_outputs = model.generate(
    input_ids=test_inputs.input_ids,
了解本专栏 订阅专栏 解锁全文
AIGC领域大揭秘：AIGC游戏的发展前景
AI天才研究院
05-13 521
本文旨在全面解析AIGC技术在游戏开发领域的应用现状和发展趋势。AIGC技术如何改变传统游戏开发流程当前主流AIGC游戏技术实现方案AIGC游戏面临的技术挑战和解决方案未来5-10年AIGC游戏的可能发展方向文章将从技术基础开始，逐步深入到具体实现和应用案例，最后探讨未来发展趋势。背景介绍：定义AIGC游戏和相关概念核心技术：分析支撑AIGC游戏的关键技术算法实现：通过代码示例展示具体实现应用案例：分析实际游戏中的应用未来展望：探讨发展趋势和挑战AIGC。
揭秘model.generate()参数配置
最新发布
ZJQ的博客
06-06 23
Hugging Face Transformers库的model.generate()方法是文本生成的核心接口，支持丰富的参数配置。主要参数包括：输入控制（input_ids、attention_mask）、生成长度控制（max_length、max_new_tokens）、解码策略（贪心搜索、采样搜索、束搜索）、生成质量控制（repetition_penalty、no_repeat_ngram_size）等。此外，还支持高级参数如inputs_embeds，允许直接输入嵌入向量进行生成，适用于自定义嵌入或
自然语言处理｜BART：文本摘要的智能工具
紫雾凌寒
03-20 1377
BART 作为一种创新的文本摘要模型，在自然语言处理领域展现出了显著的优势。其结合双向编码和自回归生成的独特架构，使其在处理文本时能够充分理解上下文信息，并生成连贯、准确且富有创造性的摘要。BART 在新闻、信息过滤与推荐、机器翻译等多个领域的成功应用，也证明了其在实际场景中的有效性和实用性 。​ 然而，BART 也并非完美无缺。在长文本处理、对原文理解深度、摘要多样性以及特定领域适应性等方面，BART 仍面临一些挑战 。这些局限性限制了 BART 在某些场景下的应用效果，也为未来的研究和改进指明了方向 。
深度揭秘：DeepSeek模型技术精髓与应用边界探索
网罗天下方法，方便你我开发！！！
02-09 2625
DeepSeek 作为一种前沿的大语言模型（LLM），以其独特的技术架构和创新点，在自然语言处理（NLP）任务中表现出色。本文旨在详细介绍 DeepSeek 的基础架构、训练方法，以及其在 NLP 任务中的应用表现，并提供可运行的示例 Demo 代码模块，以帮助开发者更好地理解和应用该模型。DeepSeek作为一种前沿的大语言模型，以其独特的技术架构和创新点在自然语言处理领域取得了显著成就。
GraphRAG揭秘：基于Neo4j的知识图谱检索增强技术
2401_84495872的博客
03-18 822
对一个查询问题分别进行了测试, 与没有RAG，仅利用LLM生成回复的情况进行对比，在有GraphRAG 的情况下，LLM模型回答的信息量更大、准确会更高。
揭秘 AIGC 领域少样本生成的高效算法
SuperAGI2025
04-30 703
当AI只能看到10-100个样本时，如何像人类一样快速学会生成任务？我们将覆盖少样本生成的核心技术（元学习、提示学习、参数高效微调），并通过实战案例展示如何用Python实现一个少样本生成模型。本文从“奶茶店新品研发”的生活场景切入，逐步拆解少样本生成的核心概念→算法原理→数学模型→实战代码→应用场景，最后总结未来趋势。少样本生成：AI用少量样本（10-100条）生成同类新内容。元学习：让AI“学会如何学习”，快速适应新任务。提示学习：用自然语言“小抄”引导AI生成。参数高效微调。
AIGC 小说：AIGC 领域文学的新玩法大揭秘
SuperAGI2025
05-30 547
AIGC（人工智能生成内容）在近年来迅速发展，已经渗透到各个领域，文学创作领域也不例外。AIGC 小说作为其中的一种形式，正逐渐改变着传统的文学创作和阅读模式。本文的目的在于全面揭秘 AIGC 小说这一 AIGC 领域文学的新玩法，涵盖其原理、创作流程、应用场景等多个方面，让读者深入了解 AIGC 小说的特点和潜力。范围包括从技术层面的算法原理到实际应用的案例分析，以及对未来发展的展望。本文将按照以下结构进行阐述：首先介绍核心概念与联系，让读者对 AIGC 小说有初步的认识；
揭秘 LLaMA 模型：从训练数据到工作原理，开启语言技术新征程
weixin_62782025的博客
05-16 732
开源项目在技术领域展现出强大的生命力，Meta AI 的 LLaMA 模型作为其中的代表，凭借其高效的性能和多样化的训练数据，成为众多小型语言模型的基础。
揭秘大模型的“温度”：掌控语言生成的艺术，如同厨师的烹饪智慧20250305
Narutolxy的博客
03-05 1140
本文把的大模型温度就像厨师手中的调味秘方，巧妙地引导着模型在稳重与灵活之间自如切换。今天，我们就一同揭开“温度”的神秘面纱
多任务学习揭秘：金融文本挖掘与分析的实战指南
[多任务学习揭秘：金融文本挖掘与分析的实战指南](https://opengraph.githubassets.com/a3204d646201547ef3bda793793c48266592604af52dffcfb079c43b794c2969/2hip3ng/chinese-text-clean) # 摘要 金融文本挖掘与...
有关去中心化算路大模型的一些误区：低带宽互连导致训练速度太慢；小容量设备无法生成基础规模的模型；去中心化总是会花费更多；虫群永远不够大
热门推荐
ZJQ的博客
07-10 5万+
有关去中心化算路大模型的一些误区：低带宽互连导致训练速度太慢；小容量设备无法生成基础规模的模型；去中心化总是会花费更多；虫群永远不够大
神经网络和算力共享结合：基于深度学习的算力资源智能分配机制；一种支持跨云、跨边缘计算平台的协同训练框架；模型自适应优化策略
ZJQ的博客
07-07 4万+
神经网络和算力共享结合：基于深度学习的算力资源智能分配机制；一种支持跨云、跨边缘计算平台的协同训练框架；模型自适应优化策略
算力共享方案
ZJQ的博客
07-15 4万+
平台的整体方案不但包括集群系统网络、存储、安全、可视化设备、计算服务器等硬件算力资源池的构建而且包含算力调度系统、算力交互门户、算力运行基础环境和算力应用等软件系统构建，这是一个庞大而系统化的工程。在算力资源池规划中，根据需求可分为工业设计、AI研发所需的可视化资源池，科学计算资源池和AI训练推理资源池，这些资源池使用统一的存储空间，按照其业务特性进行个性化网络配置，为平台提供算力基础能力。
Tinygrad，llama3，Reward Model
ZJQ的博客
07-25 4万+
根据公开发布的信息，Llama 3是一款文本生成AI，与OpenAI的GPT和Anthropic的Claude模型类似，用户可以编写文本提示，然后Llama 3会生成相应的文本响应。在复杂的实际应用场景中，设计一个合适的奖励模型并非易事，因此研究如何构建有效的奖励模型成为了强化学习领域的关键技术与挑战。总的来说，Tinygrad是一个轻量级但功能强大的深度学习框架，它以其简洁的设计和易用性吸引了众多开发者的关注。Llama 3是一个“开放权重”模型，意味着模型本身是开源的，提供了一定程度的透明度。
Megatron-LM在训练过程中怎么保证参数传递并保证每块GPU都在工作
ZJQ的博客
07-24 4万+
Megatron-LM通过数据并行、张量并行和流水线并行等多种并行策略的综合运用，确保了训练过程中每块GPU都在工作，实现了高效的并行训练。这种分布式训练框架特别适用于训练超大规模的语言模型，如GPT-3等。
区块链技术和系统；ZKRollup ；区块链交易打包和审查
ZJQ的博客
07-19 4万+
区块链技术作为一种去中心化、不可篡改且高度安全的分布式账本技术，近年来在统等多个领域展现出了巨大的应用潜力。：熟悉区块链的基本概念，如等核心技术。能够解释区块链如何工作，以及它的去中心化、透明性和安全性的基本原理。：了解并实践过至少一种或多种主流区块链平台，如等。熟悉这些平台的特性、开发环境、交易模型、智能合约编写语言（如Solidity）等。：能够，理解其在区块链上自动执行合约条款的重要性。了解智能合约的安全隐患，如重入攻击、时间戳依赖等，并知道如何避免这些问题。
算力共享：环形结构的算力分配策略
ZJQ的博客
07-25 4万+
因此，在这个例子中，节点将首先根据它们的内存大小进行降序排序，如果内存大小相同，则根据节点ID进行降序排序（尽管在内存大小不同的情况下，节点ID的比较通常不会影响最终排序结果）。是基于前一个分区的结束位置更新的，并且每个分区的结束位置都是基于内存比例计算的，因此所有分区的总和可能不会恰好等于 1（即整个资源池的比例）。由于元组在Python中是按位置进行比较的，因此当用作排序关键字时，会首先比较元组的第一个元素（内存大小），如果两个元素的内存大小相同，则会比较第二个元素（节点ID）。参数指定了排序的方向。
超算网络体系架构-资源层-平台层-服务层-应用层
ZJQ的博客
07-16 2万+
提供灵活的计费策略，对机时类、容量类、应用类、服务类等资源进行分类和聚合,提供固定价格、阶梯价格等计费方式;提供线上线下等多种资源购买方式，支持用户在线支付;支持平台与多中心之间、平台与商户之间、平台与个体开发者之间等的结算机制;建立交易结算体系，实现跨地域、跨运营主体的结算通道。
算力共享中数据切片：按照神经网络层数；算力共享-策略
ZJQ的博客
07-24 2万+
目录dataclasses是什么dataclasses的主要特性和用法包括：示例代码算力共享中数据切片：按照神经网络层数算力共享-策略详细说明：使用场景：算力共享中，任务分片后，是串行执行还是并行执行1. 并行执行的优势2. 串行执行与并行执行的区别3. 算力共享中的任务分片与并行执行按照神经网络层数分片，怎么并行执行而不影响模型参数准确率，尤其在模型训练过程中1. 数据并行与模型并行结合数据并行模型并行2. 确保参数一致性3. 监控和调整4. 选择合适的优化算法5. 验证和测试6. 注意事项参数服务器或A
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZhangJiQun&MXP

等到80岁回首依旧年轻

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值