BAAIBeijing的博客

北京智源人工智能研究院（以下简称“智源研究院”）和清华大学联合发布首个支持PyTorch框架的高性能MoE系统：FastMoE 。开源地址：https://github.com/laekov/fastmoe FastMoE系统具有易用性强、灵活性好、训练速度快的优势，打破行业限制，可在不同规模的计算机或集群上支持研究者探索不同的MoE模型在不同领域的应用。相比直接使用PyTorch实现的版本，提速47倍。FastMoE是智源研究院于2020年发起的新型超大规模预训练模型研发项目“悟道”的最新成果，由“