![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 88
我有一只可爱的草莓熊
这个作者很懒,什么都没留下…
展开
-
用 C 语言进行大模型推理:探索 llama2.c 仓库(二)
int dim;} Config;float *wq;float *wk;float *wv;float *wo;float *w1;float *w2;float *w3;float *xb;float *xb2;float *hb;float *hb2;float *q;float *k;float *v;float *att;} RunState;int fd;llama2.c中的Transformer是一个结构体,其中最重要的三个成员变量是。原创 2024-05-09 09:41:12 · 552 阅读 · 0 评论 -
用 C 语言进行大模型推理:探索 llama2.c 仓库(一)
直接使用Meta发布的llama2来对程序进行运行分析的话,我的计算机因为配置问题运行不了,所以我们在huggingface社区中找一个和llama2有相同结构的模型,但是decode的层数要少很多的模型进行运行。是一个参数量115M左右的超微型小模型,采用Llama2架构,我们选择这个模型替代Meta的llama2对llama2.c仓库中的代码进行分析。注意:在本文中,我们只关心推理代码的架构,以及代码是怎么写的,不关心llm的输出结果是否正确、是否合理。模型的权重文件是huggingface的格式。原创 2024-04-27 17:51:11 · 1108 阅读 · 1 评论 -
llm的inference(二)
原则上< unk >这个token出现的越少越好,我们也往往用< unk >的数量来评价一个tokenizer的好坏程度,这个token出现的越少,tokenizer的效果往往越好。这种分词方式会导致Vocabulary相对小的多,但分词后的每个字符是毫无意义的,而且输出长度变长不少,只有组装后才有意义。我们知道tokenization后就要进行embedding,它的表象是将one-hot的高维向量转为更密集的低维向量的过程,数学上就是对one-hot向量乘以一个矩阵。事实上,HuggingFace的。原创 2024-02-26 12:05:41 · 916 阅读 · 0 评论 -
llm的inference(一)
上面我们首先介绍了llm的几种架构,从宏观层面分析了LLM的推理过程,并对其中的一些数据流做了简单的分析,接下来我们要从工程方面分析大模型如何进行推理以及推理过程中的一些指标。原创 2024-02-24 11:23:13 · 1199 阅读 · 0 评论 -
Attention总结
因为在对大模型推理过程中,会对原始的注意力做各种修改以加快推理速度—即节约时间,也节约显存。在下文中我会对自己遇到的Attention做以总结。原创 2024-02-23 21:58:09 · 1056 阅读 · 0 评论 -
BatchNorm、LayerNorm、InstanceNorm、GroupNorm解析
之前看过这四个的区别,但是分的还是不太清楚,今天仔细地整理一下。原创 2024-01-25 09:53:53 · 1177 阅读 · 0 评论 -
im2col代码解析
在数字图像处理专栏的很多博客里,当遇到sobel算子、均值滤波等算子时,我们使用的是传统的卷积方法(直接卷积),也就是将卷积核在输入图像上不断进行移动产生输出。直接计算时,由于输入图像矩阵存放在内存中地址有重叠且不连续的空间上,在计算时有可能需要多次访问内存。多次访问内存直接增加了数据传输时间,从而进一步影响了卷积计算速度。同样地在深度学习中,卷积层也需要对输入特征图进行卷积,如果还是使用直接卷积的方式,势必会影响模型训练以及推理的速度。因此,人们采用一些策略来加速卷积运算。原创 2023-09-19 17:53:10 · 192 阅读 · 0 评论 -
Faster RCNN网络数据流总结
在学习Faster RCNN时,看了许多别人写的博客。看了以后,对Faster RCNN整理有了一个大概的了解,但是对训练时网络内部的数据流还不是很清楚,所以在结合的faster rcnn代码情况下,对网络数据流进行总结。以便自己更好地掌握Faster rcnn。原创 2023-08-22 12:00:34 · 786 阅读 · 0 评论 -
双线性插值初始化反卷积核
双线性插值初始化转置卷积原创 2022-12-05 20:22:55 · 532 阅读 · 0 评论 -
Batch Normalization
Batch Normalization原创 2022-10-13 11:35:17 · 470 阅读 · 0 评论