大模型训练问题集合
文章平均质量分 55
包括大模型的推理、微调、加速和大模型agent相关的代码示例、教程及问题解决分享
炭市街潜水豆浆
简单分享工作中学习的记录和日常读研学习记录,全为原创,不会涉及任何隐私与个人权益
展开
-
【大模型】text-generation-inference(TGI)项目加速推理的量化实现与使用GPTQ量化实现的对比
text-generation-inference TGI项目加速推理的量化实现与使用GPTQ量化实现的对比原创 2023-08-28 16:09:53 · 4425 阅读 · 5 评论 -
【大模型】Autogen使用两个agent基于gpt扮演角色情景对话,包含二者的system_message
【大模型】Autogen使用两个agent基于gpt扮演角色情景对话,包含二者的system_messagev原创 2024-01-17 15:50:06 · 693 阅读 · 2 评论 -
【大模型】FastChat实现gpt一样流式输出,亲测有效!!!
流式输出就是一边生成一边输出结果,而不需要所有的结果都输出完成。流式传输是一种HTTP协议的特性,它允许服务器在响应数据准备好之前就开始向客户端发送数据。当数据准备好之后,服务器会将其作为一个或多个“块”传输到客户端,直到响应完成。原创 2023-08-17 15:21:57 · 2808 阅读 · 3 评论 -
ERROR: Could not build wheels for flash-attn, which is required to install pyproject.toml-based proj
ERROR: Could not build wheels for flash-attn, which is required to install pyproject.toml-based proj 速解原创 2023-08-16 17:02:46 · 6750 阅读 · 2 评论