![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
人工智能
文章平均质量分 95
黯玥
这个作者很懒,什么都没留下…
展开
-
从零开始之Dify二次开发篇
Dify传送门。基于Docker Compose的Dify部署:Dify Docker Compose部署篇传送门。Dify 源码部署篇传送门。本文将详细描述基于Dify的二次开发流程,适合小白食用。原创 2024-06-24 17:26:59 · 1484 阅读 · 5 评论 -
51在InternStudio上卷Llama3
模型在运行时,占用的显存可大致分为三部分:模型参数本身占用的显存、KV Cache占用的显存,以及中间运算结果占用的显存。LMDeploy的KV Cache管理器可以通过设置–cache-max-entry-count参数,控制KV缓存占用剩余显存的最大比例。由于显存原因,我们直接来一波“极限”,把–cache-max-entry-count参数设置为0.01,约等于禁止KV Cache占用显存。量化工作结束后,新的HF模型被保存到Meta-Llama-3-8B-Instruct_4bit目录。原创 2024-05-05 13:08:00 · 661 阅读 · 0 评论 -
毕昇的初探之旅(一)
毕昇大模型框架二开的探索原创 2024-04-05 13:14:15 · 2081 阅读 · 0 评论 -
从零开始之TaskingAI部署篇
TaskingAI传送门。本系列文章从零开始探索TaskingAI的功能及搭建过程。本文的搭建流程是基于Docker Compose进行部署。原创 2024-03-19 08:28:21 · 1226 阅读 · 0 评论 -
从零开始之Dify源码部署篇
Dify传送门。本系列文章从零开始探索Dify的功能及搭建过程。本文的搭建流程是基于本地源码进行部署。Dify Docker Compose部署篇传送门。原创 2024-03-18 11:17:45 · 7314 阅读 · 9 评论 -
从零开始之Dify部署篇
Dify传送门。本系列文章从零开始探索Dify的功能及搭建过程。本文的搭建流程是基于Docker Compose进行部署。原创 2024-03-17 08:30:03 · 15760 阅读 · 19 评论