- 博客(3)
- 收藏
- 关注
RSS订阅原创 大模型每一层transformer输出的激活值会膨胀
【摘要】实验使用Qwen2.5-0.5B模型（24层，hidden_size=896）分析Transformer各层隐藏状态分布。通过拼接896维隐藏层为1维数组并可视化激活值，发现：1）随着层数加深，所有维度数值逐渐膨胀（推测由残差连接累积导致）；2）序列中第一个token的膨胀现象最早出现；3）最终层所有token均出现显著数值膨胀。实验以"The capital of France is Paris."为例，通过系列热力图展示了各层激活值的动态变化过程。
2026-07-08 10:17:11
162
原创 MHA多头注意力机制带来的计算量负担
本文通过实验比较了单头注意力和多头注意力机制的计算量差异。实验设置序列长度10、隐藏层维度1024，使用精确统计方法计算乘加操作次数。结果显示，单头注意力总运算次数为6,291,456次（乘法3,145,728次，加法3,145,728次），验证了当多头注意力中头数增加时，虽然每个头的维度降低，但总计算量基本保持不变的特性。实验方法采用自定义运算计数器，统计了线性变换和矩阵乘法的具体操作次数。
2026-07-02 19:42:46
206
原创 wsl如何使用claude code加国产模型
本文介绍了在WSL和Windows系统中配置Claude Code以使用国产AI模型(DeepSeek/Qwen/Kimi)的方法。作者发现WSL会优先读取Windows系统下的.claude/settings.json配置而非bashrc，详细说明了npm和Claude Code的安装步骤，并提供了三种国产模型的配置模板(包括API地址和模型参数)。对于普通Linux系统，则需要在.bashrc中设置环境变量。文章还包含了相关官方文档的参考链接。
2026-06-10 18:26:50
348
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人