![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型
文章平均质量分 92
大模型
rundreamsFly
熟悉项目管理领域,PMI-PMP、Kubernetes-CKA 认证、阿里云专家博主称号,擅长需求分析、DevOps平台构建及分布式系统架构。
曾就职于 易极付 ,德澳教育 等互联网公司 ,曾任职 项目经理、技术主管、系统架构师、DevOps工程师等岗位
展开
-
【AI-本地部署大模型】Centos虚拟机部署MaxKB、Ollama【基于大语言模型的知识库问答系统】
http://目标服务器 IP 地址:目标端口。搜索你想部署的大模型包,这里以通义千问为例。默认密码:MaxKB@123…原创 2024-09-04 19:57:59 · 646 阅读 · 0 评论 -
【大模型】使用 Xinference 部署本地模型,从GPU服务器到本地知识库搭建Dify【LLM大语言模型(glm-4-9b-chat)、Rerank 模型、Embedding(向量)模型】
本文会用到博主写的一些线上脚本,如果搭建者时纯内网的话,可能需要手动压缩镜像,然后解压镜像,才能正常部署本文从GPU服务器获取、到 nvidia-docker的安装、再到Xinference 部署私有化三个模型,最后搭建dify(供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力,轻松构建和运营生成式 AI 原生应用)、最后再配置实例dify,配置dify实例,整合三个模型,最后实现知识库搭建。原创 2024-09-04 19:49:12 · 1281 阅读 · 13 评论