![](https://img-blog.csdnimg.cn/direct/d7b732158dcc465b9dbaaed0d69d31c5.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大模型
文章平均质量分 92
Large Language Models
geeksoarsky
一双冷眼看世人,满腔热血愁知己
展开
-
不使用 Docker 构建 Triton 服务器并在 Google Colab 平台上部署 HuggingFace 模型
Colab 环境缺少 tensorrt-8.6.1,cudnn9-cuda-12,triton-server 版本应该选择 r23.10。克隆 python_backend,因为我们要使用 python_backend 中的 triton_python_backend_utils。部署非常能打的文生图大模型。原创 2024-04-06 21:11:46 · 2024 阅读 · 1 评论 -
基于大模型的论文重写和扩写工具
一种基于LLM的科学论文重写和扩展工具。原创 2023-12-31 04:15:53 · 654 阅读 · 0 评论 -
FastChat 框架在 AutoDL 平台上全量微调和 PEFT 方式微调 LLMs
根据 FastChat 仓库[微调文档],(https://github.com/lm-sys/FastChat/blob/main/docs/training.md),我们可以使用使用 ZeRO2 使用 QLoRA 来训练。,可能要配置下 Base 模型,Batch_Size, Epoch 等超参数,可以开启 Zero 2 或者 Zero 3,脚本中使用了 Zero 2, 如果想使用 Zero 3 将 deepspeed 超参数 改为。克隆我的微调仓库,本仓库基于 FastChat 框架,对。原创 2023-09-21 16:06:31 · 1992 阅读 · 0 评论