- 博客(4)
- 收藏
- 关注
RSS订阅原创 linux上使用fastllm部署qwen1.8b,2G显存可跑
python，用于转换模型权重，fastllm也提供了python的api，我的是python3.10.13。转完之后在build目录生成一个model.flm文件，大概1.9G大小。到fastllm目录，修改下main.cpp文件，加一个计时。这三个路径修改为自己的模型储存目录，下面修改一下，方便加载。下载qwen1.8b权重，国内推荐使用魔塔社区开源库，安装。编译完成后，可以使用如下命令安装简单的python工具包。下载，cache_dir修改为自己的路径。模型路径传对，参数传对，基本不会有问题。
2024-01-29 14:19:05
867
5原创 flask+gunicorn多线程部署yolov5
flask部署过程中受制于网络传输，和存读图片时间，检测存在较高延迟，通过多线程部署以达到降低延迟的目的。gunicorn目前支持linux，不支持windows，所以在linux里面安装。在linux建立虚拟环境，正常环境可能出问题。之后pip install gunicorn gevent安装好之后，...
2022-04-22 15:32:36
3110
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人