创业项目TensorLink开源了,没有显卡也可以玩大模型、SD。

显卡是很贵的、也是稀缺的。但是AI又是很火的,每个人都不想错过这个机会,公司也一样。

假设你是公司或者团队的负责人, 为了拥抱AI,先要解决显卡算力问题。如果要给每个人都配置一个显卡,哪怕是消费卡,也是一笔不小的成本。而且每个人都拥有一张显卡,使用率也没那么高。

那么公司能不能采购一小部分显卡,共享给公司所有人使用呢?答案完全是可以的,我们的TensorLink就是解决这个问题的。

TensorLink可以把有显卡的电脑变成服务端,共享给多个无显卡的客户端电脑使用,客户端电脑上的软件无感知,就像真的拥有显卡一样。

TensorLink支持Stable Diffusion 出图、生成视频,支持LLAMA、Qwen等多个大模型的推理使用,支持C4D等软件的渲染。

de207cc10b780da31d3c667bf44a57a3.gif

假如你是一家电商公司,需要使用SD生成大量的图片和视频,发布到抖音或者电商平台。如果你使用WebUI供员工使用,因为每个员工的需求不一样,用的模型也不同,WebUI的维护成本就很高。如果你给每个员工都配置高性能的显卡,成本又很高。

现在使用TensorLink,只需要20%显卡的成本,就可以搭建一个显卡共享服务,给到全公司的员工使用,提升了显卡的使用率,还节省了成本,又满足了每个员工个性化的需求。

如果你是一家AI大模型的培训机构,给每个学员都配置一台带显卡的高性能电脑成本太高,那么同样可以使用TensorLink来解决显卡不够用,成本高的问题。

当然还有更多使用显卡的场景,都可以通过TensorLink共享显卡,提升显卡使用率,降低成本,甚至切分一张显卡给多个人使用。

其实不止是公司,你自己个人电脑也可以使用。

我们都喜欢开个虚拟机折腾一些事情,这样即使系统折腾坏了,也不影响宿主机。但是如果你把你的显卡给到了虚拟机,你的电脑就没法使用了。也就是宿主机和虚拟机只能有一个可以用显卡,这时候就可以通过我们的TensorLink共享显卡,让宿主机和虚拟机都可以使用显卡,一举多得,方便又实用。

类似以上的场景还有很多,我就不一一举例了。现在,我们的TensorLink已经托管在GitHub上了,https://github.com/nvwacloud/tensorlink ,里面有详细的教程,欢迎大家试用,有问题可以给我们提Issue,也可以加入我们微信群社区交流想法。

8ecbbff232838c8bc2c90a3470489d61.jpeg

本文为原创文章,转载注明出处,欢迎扫码关注公众号flysnow_org或者网站 https://www.flysnow.org/ ,第一时间看后续精彩文章。觉得好的话,请猛击文章右下角「在看」,感谢支持。

  • 3
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值