运维
ybdesire
Talk is cheap. Show me the code.
展开
-
理解vllm分布式推理服务中的多节点Multi-Node部署方式
使用vllm中的多节点分布式推理模式部署llm原创 2024-08-21 23:15:00 · 486 阅读 · 0 评论 -
vllm部署Mistral-Large-Instruct-2407
vllm部署最新发布的最强大模型Mistral-Large-Instruct-2407为openai兼容接口原创 2024-07-25 23:30:00 · 761 阅读 · 1 评论 -
wget报错ERROR 403: Forbidden的解决方法
wget报错ERROR 403: Forbidden.的解决方法原创 2024-06-18 23:45:00 · 665 阅读 · 0 评论 -
在python中指定pytorch训练时使用多块或某块GPU的方法
在python中指定pytorch训练时使用多块或某块GPU的方法原创 2024-06-11 23:30:00 · 836 阅读 · 1 评论 -
MongodDB实现用户名密码远程登录的配置步骤
安装后不需要密码,就能连接上MongoDB,这是不安全的行为。那如何实现根据用户名密码才能远程连接某个特定的数据库呢?原创 2024-05-27 22:23:00 · 817 阅读 · 0 评论 -
转载:CentOS7 下 Docker 升级到最新版本
实测有效,难得,转载一下,感谢原文作者转载 2024-04-11 17:44:00 · 302 阅读 · 0 评论 -
conda create 报错 Connection to repo.anaconda.com timed out 的修复
conda create 环境时,报错 Connection to repo.anaconda.com timed out 的修复方法原创 2024-04-22 23:45:00 · 1530 阅读 · 1 评论 -
记一次Centos7上无法连接到MongoDB的处理步骤
当mongodb出现问题时,可以通过mongodb的log(`sudo tail /var/log/mongodb/mongod.log`),或者看命令`mongod`的输出,来定位问题。原创 2024-01-31 23:30:00 · 597 阅读 · 0 评论 -
LLaMA-Factory用self_cognition数据微调ChatGLM2后,CLI运行输出乱码和报错 IndexError: piece id is out of range
LLaMA-Factory用self_cognition数据微调ChatGLM2后,CLI运行输出乱码和报错 IndexError: piece id is out of range原创 2023-12-08 22:49:35 · 1230 阅读 · 0 评论 -
对curl,git,python添加proxy的方法
对curl,git,python添加proxy的方法原创 2023-12-21 23:15:00 · 640 阅读 · 0 评论 -
LLaMA-Factory使用V100微调ChatGLM2报错 RuntimeError: “addmm_impl_cpu_“ not implemented for ‘Half‘
V100微调ChatGLM2报错 RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'原创 2023-11-25 23:15:00 · 5021 阅读 · 1 评论 -
LLaMA-Factory如何对Tokenization步骤提速
LLaMA-Factory如何对Tokenization步骤提速原创 2023-12-21 23:30:00 · 1231 阅读 · 0 评论 -
基于LLaMA-Factory用deepspeed多GPU训练大模型报错Caught signal 7 (Bus error: nonexistent physical address)
基于LLaMA-Factory用deepspeed多GPU训练大模型报错Caught signal 7 (Bus error: nonexistent physical address)的解决方法原创 2023-12-21 23:45:00 · 3120 阅读 · 2 评论 -
替代huggingface下载大模型的站点
替代huggingface下载大模型的站点原创 2023-11-11 23:45:00 · 1841 阅读 · 0 评论 -
快速下载ChatGLM系列模型
如何快速下载ChatGLM2模型原创 2023-11-11 23:30:00 · 1015 阅读 · 0 评论 -
用github的Actions来自动训练AI模型(包含YAML的详细配置过程)
github的Actions功能(见参考1),提供了CI的workflow功能,利用该功能训练模型。原创 2021-12-16 23:10:45 · 1648 阅读 · 0 评论