深度学习基础知识干货 | Softmax中温度（temperature）参数

🐧大模型系列篇章

💖 多模态大模型 🔎 GroundingDINO 论文总结
💖 端到端目标检测 🔎 从DETR 到 GroundingDINO 🔥
💖 多模态大模型 👉 CLIP论文总结
💖 多模态大模型 👉 EVA-CLIP
💚 生成模型 👉 从 VAE 到 Diffusion Model （上）
💚 生成模型 👉 从 VAE 到 Diffusion Model （下）🔥
💧 天气大模型

🐧深度学习基础知识篇

💖 深度学习基础知识干货 🔎 Batch Normalization 批量归一化
💖 深度学习基础知识干货 🔎 卷积模型的Memory, Params, Flop是如何计算的?
💖 深度学习基础知识干货 🔎 Cross-Entropy Loss 多分类损失函数
💖 深度学习基础知识干货 🔎 Videos 动作检测
💖 深度学习基础知识干货 🔎 目标检测(Object Detection): 你需要知道的一些概念
💖 深度学习基础知识干货 🔎 微调（fine-tuning）和泛化（generalization）
💖 深度学习基础知识干货 🔎 Group Convolution / Depthwise Convolution 轻量模型的必有的卷积
💖 深度学习基础知识干货 🔎 Gradient checkpointing
💖 深度学习基础知识干货 🔎 Softmax中温度（temperature）参数
💖 深度学习基础知识干货 🔎 什么是few-shot learning

欢迎订阅专栏，第一时间掌握最新科技 大模型系列篇章 专栏链接 深度学习基础知识 专栏链接

在Softmax中，温度（temperature）的作用是调整模型的输出分布的“平热程度”或“软硬程度”。Softmax函数的原始形式如下：

• 1. 高温度（Soft）： 当温度 T 较高时，指数项的差异被拉大，使得概率分布更加平滑，更趋向于均匀分布。这可以帮助模型更容易地对不同类别进行区分，减小模型的过度自信，提高对不确定性的处理能力。
• 2. 低温度（Hard）： 当温度 T 较低时，指数项的差异被压缩，使得概率分布更加尖锐，更趋向于对最可能的类别给予更高的概率。这样的输出更加集中，使得模型更加自信，但也更容易过拟合训练数据。

因此，通过调整温度参数，可以在Softmax中平衡模型的“软硬”输出，从而影响模型的鲁棒性和泛化能力。