AI应用响应工具对比

LLama Factory是什么?和ollama以及vllm的区别和关系是什么?

在这里插入图片描述

Hugging Face Transformers、DeepSpeed、FlashAttention 工具区别

在这里插入图片描述
LLamaFactory框架生态集成:兼容 Hugging Face Transformers、DeepSpeed、FlashAttention 等工具。

DeepSpeed:是一个由微软研究院开发的深度学习优化库,可以认为是框架或者是工具,它主要针对大规模分布式训练进行了优化,尤其是在使用大量 GPU 进行训练时可以显著提高效率。

pip install deepspeed

FlashAttention :工具、框架或者说是算法。加速注意力计算并降低显存占用。torch2.x集成了进去

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值