- 博客(11)
- 收藏
- 关注
RSS订阅原创 【Llama3源码】llama3-implemented-from-scratch源码运行踩坑Incorrect padding
Error: Incorrect padding
2024-06-18 22:07:42
345
3
原创 【Llama源码】激活函数--SiLU (Sigmoid Linear Unit)
【代码】【Llama源码】激活函数--SiLU (Sigmoid Linear Unit)
2024-05-29 23:39:08
264
原创 【Llama源码】旋转位置编码ROPE--源码阅读
inv_freq为size=torch.Size([dim//2])的tensor。前向调用，负责生成旋转矩阵中的。q、cos、sin对应下标顺序与。
2024-05-29 22:16:32
1065
原创 【Llama源码】归一化RMSNorm
RMSNorm是在Layer Norm之上的改进，它通过舍弃中心不变性来降低计算量。针对输入input的每个元素的平方根的倒数来返回一个新的Tensor。
2024-05-29 11:32:32
697
原创 【Transformers源码】degbug model tips
debug源码可以更快速高效的学习model，是不是要等模型文件下载完，才能debug，等待下载LLM的模型文件是不是内心有那么亿丢丢的焦灼…
2024-05-26 00:49:46
342
原创 RuntimeError: “bernoulli_scalar_cpu_“ not implemented for ‘Half‘
P-tuning在M2芯片macbook运行报错。
2024-05-17 09:40:38
122
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人