本地运行QwQ-32B模型出现：无限生成、重复输出、＜think＞ 标签问题以及微调困难等常见问题的解决方法

根据 Qwen 的说法，官方推荐设置：

• Temperature（温度）： 0.6
• Top_K： 40（或 20 到 40）
• Min_P： 0.02（可选，但效果良好，llama.cpp 默认值为 0.1）
• Top_P： 0.95
• Repetition Penalty（重复惩罚）： 1.0（在 llama.cpp 和 transformers 中，1.0 表示禁用）
• 聊天模板：<|im_start|>user\nCreate a Flappy Bird game in Python.<|im_end|>\n<|im_start|>assistant\n\n

llama.cpp 的推荐设置：为避免无限生成和重复输出，建议调整采样器的顺序，并设置以下参数：

• 采样器顺序： --samplers “top_k;top_p;min_p;temperature;dry;typ_p;xtc”

• 参数设置：

• • top_k=40
• • top_p=0.95
• • min_p=0.1
• • temperature=0.6
• • dry
• • typ_p
• • xtc

如仍遇到问题，可将 --repeat-penalty 从 1.0 增加到 1.2 或 1.3。

Dry Repetition Penalty：建议在 llama.cpp 中使用 dry 惩罚，以减少重复生成。

其他注意事项：

• Min_p 和 Temperature 调整：

  如仍遇到问题，可尝试将 Min_p 设置为 0.1，Temperature 设置为 1.5。

• 标签未显示：

  确保使用正确的聊天模板。

• Tokenizer Bug 修复：

  使用 Unsloth 提供的修复版本，以避免 tokenizer 问题。

• 动态 4-bit 量化：

  Unsloth 提供了动态 4-bit 量化版本，可供使用。

GGUF下载地址：

https://huggingface.co/unsloth/QwQ-32B-GGUF

如何零基础入门 / 学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么我作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，希望可以帮助到更多学习大模型的人！至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

👉 福利来袭CSDN大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉 福利来袭CSDN大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。