运维部署
文章平均质量分 67
jane_xing
海阔凭鱼跃,天高任鸟飞
展开
-
多个gradio服务实现负载均衡
于是,增加了一块GPU,单个服务用两块GPU,测试后发现仅仅是显存分在两块卡上了,速度并未提升。要实现直接跳转到被分发到的服务的 IP 地址,你可以修改 Nginx 配置,使其将被分发到的服务的 IP 地址包含在 HTTP 响应头中。然后,在客户端收到响应后,可以从响应头中提取被分发到的服务的 IP 地址,并将用户重定向到该地址。最后,用户访问入口,在已有的一个前端页面上建个图标,点击图标触发nginx服务地址请求,用fetch API获取到响应头中被分发到的服务的地址,跳转过去即可。原创 2024-04-15 09:41:33 · 735 阅读 · 0 评论 -
Vue和FastAPI实现前后端分离
一个是它的异步处理性能比较好,二是它可以类似java swagger的API交互文档,这个对应前后端分离多人开发非常友好。之前总结过Vue和Flask实现前后端分离,这次同样借个小项目实践、并总结下Vue和FastAPI实现前后端分离。原创 2024-04-03 15:18:34 · 2666 阅读 · 1 评论 -
docker使用总结
在平时的工作中,部署软件服务或者多人用一台GPU服务器开发算法模型,为了互不影响,而且便于环境迁移,用docker是很好的选择。这里简单总结下,分享给大家。原创 2024-02-04 16:04:48 · 655 阅读 · 0 评论 -
windows上的中文文件名上传到linux上乱码问题解决
至此,两种方法结合,问题基本搞定。部分文件夹中文名无法用convmv转码的原因,初步分析应该是来源和其它的不一样,但用python可以获取到原来的中文名,进行重命名即可解决。附上python批量转码的代码。convmv -r 应该是递归子文件夹,但仍存在部分子文件夹下文件名未进行转码,因此编写bash 脚本批量转码。windows上中文默认编码格式是gbk,而linux默认编码格式是utf-8,因此需要将文件名转码。./gbk2utf8.sh .(文件路径)原创 2023-02-28 10:26:35 · 2334 阅读 · 0 评论 -
docker容器中程序退出异常,GPU未释放
1、问题描述近期在docker容器中对一批数据通过算法进行清洗时,当数据处理完成后发现进程未正常退出,GPU内存未正常释放。[root@ai66 ~]# nvidia-smiSun Sep 26 09:10:45 2021+-----------------------------------------------------------------------------+| NVIDIA-SMI 455.38 Driver Version: 455.38 CUDA V原创 2021-09-26 13:40:32 · 935 阅读 · 0 评论