LLama Factory是什么?和ollama以及vllm的区别和关系是什么?
Hugging Face Transformers、DeepSpeed、FlashAttention 工具区别
LLamaFactory框架生态集成:兼容 Hugging Face Transformers、DeepSpeed、FlashAttention 等工具。
DeepSpeed:是一个由微软研究院开发的深度学习优化库,可以认为是框架或者是工具,它主要针对大规模分布式训练进行了优化,尤其是在使用大量 GPU 进行训练时可以显著提高效率。
pip install deepspeed
FlashAttention :工具、框架或者说是算法。加速注意力计算并降低显存占用。torch2.x集成了进去