Memory
文章平均质量分 66
南方铁匠
在深度学习和体系结构熔炉的铁匠
展开
-
大模型笔记【2】 LLM in Flash
但是Flash带宽较低,LLM in Flash通过尽量减少从Flash中加载参数的数量,优化在DRAM中的内存管理,实现在Flash带宽有限的条件下提高计算速度的目的。上图左侧是如何在aggregated usage和incremental transfer中保持平衡,window设置的越大,每次新需要加载neruon也就越少,但是需要在memory中累计保存的空间占用的也就越大。2. 预测Relu层的稀疏性。上图右侧为一个window size为5的示意图,粉色的是要删除的元素,蓝色的是新加入的元素。原创 2024-01-08 16:08:07 · 1525 阅读 · 0 评论 -
理解DDR Part 1
DDR原创 2022-12-14 16:31:19 · 4399 阅读 · 0 评论 -
Introduction of DRAM
DDR简介,待完善。原创 2022-12-07 21:01:23 · 318 阅读 · 0 评论