机器学习平台
文章平均质量分 95
我想静静,
这个作者很懒,什么都没留下…
展开
-
LUT-GEMM: Quantized Matrix Multiplication based on LUTs for Efficient Inference in Large-Scale Gener
gpt llm 量化原创 2023-06-19 11:21:09 · 872 阅读 · 0 评论 -
alpa概览
在编译步骤中,Alpa采用计算图形式的模型描述和设备集群作为输入,并执行一些编译和优化以生成模型并行执行计划,该计划是为模型和集群定制的。然后,Alpa根据训练代码和并行执行计划为集群中的每个参与计算设备生成二进制可执行文件。在运行时步骤中,Alpa编排这些可执行文件在集群上的并行执行。原创 2023-06-08 00:03:38 · 712 阅读 · 0 评论 -
Megatron + zero
大模型并行优化原创 2023-06-05 18:11:19 · 132022 阅读 · 0 评论