![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LLM
文章平均质量分 63
甄天真学AI
这个作者很懒,什么都没留下…
展开
-
【Llama3源码】llama3-implemented-from-scratch源码运行踩坑Incorrect padding
Error: Incorrect padding原创 2024-06-18 22:07:42 · 329 阅读 · 2 评论 -
【Llama源码】激活函数--SiLU (Sigmoid Linear Unit)
【代码】【Llama源码】激活函数--SiLU (Sigmoid Linear Unit)原创 2024-05-29 23:39:08 · 242 阅读 · 0 评论 -
【Llama源码】图解llama架构
分享B站UP主图解llama架构,强裂推荐,架构图配合源码,更清晰。原创 2024-05-29 22:59:57 · 152 阅读 · 0 评论 -
【Llama源码】旋转位置编码ROPE--源码阅读
inv_freq为size=torch.Size([dim//2])的tensor。前向调用,负责生成旋转矩阵中的。q、cos、sin对应下标顺序与。原创 2024-05-29 22:16:32 · 1052 阅读 · 0 评论 -
【Llama源码】归一化RMSNorm
RMSNorm是在Layer Norm之上的改进,它通过舍弃中心不变性来降低计算量。针对输入input的每个元素的平方根的倒数来返回一个新的Tensor。原创 2024-05-29 11:32:32 · 678 阅读 · 0 评论 -
RuntimeError: “bernoulli_scalar_cpu_“ not implemented for ‘Half‘
P-tuning在M2芯片macbook运行报错。原创 2024-05-17 09:40:38 · 120 阅读 · 0 评论 -
【大模型学习】应用方案,更新ing
大模型应用方案收集。Agent,Rag原创 2024-05-17 10:02:58 · 199 阅读 · 0 评论