- 博客(2)
- 收藏
- 关注
RSS订阅原创 Adam 与 AdamW 的实现原理与区别详解
优化器是否支持有效 Weight Decay建议场景Adam❌ 否（需谨慎处理）小模型、实验快速迭代AdamW✅ 是（推荐）✅ 所有正式训练任务Adam 作为优化器界的“老将”，仍在许多场合发挥作用。但 AdamW 通过修复权重衰减机制，让我们在训练深度神经网络时能够真正地控制模型复杂度，提高泛化能力，是目前更值得推荐的选择。Adam: A Method for Stochastic Optimization (原论文)
2025-07-25 19:30:30
6266
1
原创 普通卷积 vs 深度可分离卷积（DWConv、DSConv）对比
随着深度学习模型在端侧部署和实时推理中的广泛应用，模型轻量化成为了一个重要课题。其中，一个重要方向就是改进传统的卷积操作，提升模型效率。深度可分离卷积（Depthwise Separable Convolution，DSConv）就是其中的代表技术。那么，深度可分离卷积和我们熟悉的普通卷积（standard convolution）究竟有何不同？今天我们就从直观理解、数学公式、计算量和实际应用四个方面，为大家拆解 DWConv 和 DSConv 的本质。
2025-07-25 15:58:21
4896
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人