- 博客(20)
- 收藏
- 关注
RSS订阅原创 大模型笔记之- 基于vllm分支编译部署 DeepSeek-V2-Lite-Chat
vllm分支部署DeepSeek-V2-Lite-Chat
2024-05-28 14:33:07
537
1
原创 大模型笔记之-3090单卡推理Qwen1.5-32B-Chat-AWQ
随着大模型不断发展，各家推出的模型，指标越来越接近，推理成本也大幅降低（阿里Qwen，文心一言，智普 ChatGLM都在降价），个人玩家只需要找到一个最适合自己的开源模型部署即可，写了这么多篇大模型笔记了，今天写一Qwen32B-AWQ收个尾。先说结论Qwen1.5-32B-Chat-AWQ跑在3090上完全满足我的需求以上就是今天要讲的内容，本文详细记录了如何用一张3090 使用vLLM框架推理起Qwen1.5-32B-Chat-AWQ。本篇为大模型笔记的最后一篇！
2024-05-21 17:25:44
601
2
原创 【Java攻城狮笔记】MySQL安装，my.ini配置，初始化以及远程访问配置|基于Windows Server2012 R2
Windows 安装mysql
2024-01-09 11:14:52
1143
1
原创 大模型笔记之-3090显卡推理70B参数模型|基于PowerInfer 一个 CPU/GPU LLM 推理引擎
提示：本文章基于揽睿星舟算力推理，算力端3090邀请链接https://www.lanrui-ai.com/register?
2023-12-27 18:37:46
1785
3
原创 大模型笔记之-低成本部署CharGLM3|chatglm.cpp基于ggml 的纯 C++ 实现
本文主要介绍基于chatglm.cpp项目仅使用cpu推理chatGLM3的教程。
2023-11-28 10:13:24
3071
14
原创 大模型笔记之-ChatGLM2微调（基于Windows10 22H2+RTX2080ti 实现）
本文仅仅简单介绍了如何在Windows环境下微调及使用ChatGLM2-6B
2023-11-03 18:01:28
2776
6
原创 万字长文-Java开发环境搭建之JDK下载，安装，环境变量配置（图文教程）
本教程基于Windows 10 22H2版本java攻城狮的必备技能至此，JDK环境变量配置已经完成，下一篇，IDEA下载安装与配置。
2023-11-02 11:18:34
299
2
原创 ChatGLM3-工具调用-支持天气查询，预设提示词。
上一篇文章快速部署了ChatGLM3-6B，云端和本地复现，本篇文章将介绍工具调用提示：以下是本篇文章正文内容，下面案例可供参考。
2023-10-31 17:13:22
2008
2
原创 langchain-chatglm（v0.2.0）使用更新说明-项目更名为Langchain-Chatchat
基于window10环境本地搭建知识库
2023-08-14 14:49:02
4610
20
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人