【大模型知识库】(2):开源大模型+知识库方案,docker-compose部署本地知识库和大模型,毕昇+fastchat的ChatGLM3,BGE-zh模型,通过拖拽/配置方式实现大模型编程

1,关于bisheng 项目

https://www.bilibili.com/video/BV1xi4y1e7MD/

【大模型知识库】(2):开源大模型+知识库方案,docker-compose部署本地知识库和大模型,毕昇+fastchat的ChatGLM3,BGE-zh模型

2,关于bisheng 项目

Bisheng是一款领先的开源大模型应用开发平台,赋能和加速大模型应用开发落地,帮助用户以最佳体验进入下一代应用开发模式。

“毕昇”是活字印刷术的发明人,活字印刷术为人类知识的传递起到了巨大的推动作用。我们希望“毕昇”同样能够为智能应用的广泛落地提供有力的支撑。欢迎大家一道参与。

Bisheng 基于 Apache 2.0 License 协议发布,于 2023 年 8 月底正式开源。

产品亮点
便捷:即使是业务人员,基于我们预置的应用模板,通过简单直观的表单填写方式快速搭建以大模型为核心的智能应用。
灵活:对大模型技术有了解的人员,我们紧跟最前沿大模型技术生态提供数百种开发组件,基于可视化且自由的流程编排能力,可开发出任意类型的大模型应用,而不仅是简单的提示词工程。
可靠与企业级:当前许多同类的开源项目仅适用于实验测试场景,缺少真正生产使用的企业级特性,包括:高并发下的高可用、应用运营及效果持续迭代优化、贴合真实业务场景的实用功能等,这些都是毕昇平台的差异化能力;另外,更直观的是,企业内的数据质量参差不齐,想要真正把所有数据利用起来,首先需要有完备的非结构化数据治理能力,而这是过去几年我们团队所积累的核心能力,在毕昇的demo环境中您可以通过相关组件直接接入这些能力,并且这些能力免费不限量使用。
产品应用
使用毕昇平台,我们可以搭建各类丰富的大模型应用:

分析报告生成
知识库问答
对话
要素提取

我们认为在企业真实场景中,“对话”仅是众多交互形式中的一种,未来我们还将新增流程自动化、搜索等更多应用形态的支持。

https://dataelem.feishu.cn/wiki/BSCcwKd4Yiot3IkOEC8cxGW7nPc

3,下载项目

git clone https://github.com/dataelement/bisheng
cd bisheng/docker
docker-compose up -d

或者使用我的镜像部署带 fastchat 版本的:

git clone https://gitee.com/fly-llm/bisheng-docker-compose


在这里插入图片描述

启动成功:

在这里插入图片描述

帐号:admin
密码:1234

如果要是出现这个错误:

在这里插入图片描述
需要重启下后端服务,没有连接上数据库造成的。

docker restart backend

然后就可以使用了:
在这里插入图片描述

3,然后启动chatglm3大模型

参考之前的文章:

https://blog.csdn.net/freewebsys/article/details/134631859

启动之后就可以进行配置了:

在这里插入图片描述

配置一个prompt :

你是一个翻译助手:

将用户输入的内容:
{input}

翻译成英文。

然后点击右下角编译,然后聊天:
在这里插入图片描述

还可以配置好 API 接口:

在这里插入图片描述

4,总结

通过拖拽的方式可以实现模型的配置编程,可以快速的开发应用。
或者提供对外接口,非常的方便。
这个只是演示了配置chatglm3 接口的部分。
持续研究中。

### 使用 Docker 构建部署大规模模型知识库 #### 准备工作 为了使用 Docker 来构建部署大规模模型知识库,需要先安装 Docker Docker Compose。确保环境已经配置好 Python 及其相关依赖项。 #### 创建项目结构 建立一个新的目录用于存放所有的文件,并创建如下所示的基础架构: ```plaintext my_model_repo/ ├── docker-compose.yml └── model_service/ ├── app.py └── requirements.txt ``` 其中 `docker-compose.yml` 文件定义服务组合;`model_service/app.py` 将作为启动的服务端点;`requirements.txt` 列出了所需的Python包[^1]。 #### 编写 Dockerfile 在项目的根路径下编写一个名为 `Dockerfile` 的文件,该文件描述了镜像应该如何被组装起来。对于机器学习应用来说,通常会基于官方的 Python 镜像并安装必要的软件包。 ```Dockerfile FROM python:3.9-slim-buster WORKDIR /app COPY ./model_service/ ./ RUN pip install --no-cache-dir -r requirements.txt CMD ["python", "./app.py"] ``` 此脚本指定了基础映像、设置工作目录、复制应用程序代码到容器内以及指定命令来运行程序。 #### 定义服务编排 编辑 `docker-compose.yml` 文件以声明多个相互关联的服务实例及其属性。这里假设有一个简单的 REST API 服务器负责处理请求并向客户端返回预测结果。 ```yaml version: '3' services: web: build: . ports: - "8000:80" volumes: - .:/app environment: MODEL_PATH: "/models/my_large_model.onnx" volumes: models_data: ``` 上述 YAML 片段设置了 Web 应用监听外部访问并通过挂载卷的方式共享主机上的数据给容器内部使用。 #### 启动与管理集群 完成以上步骤之后,在终端执行下面这条指令即可一键拉起整个系统: ```bash docker-compose up --build ``` 这将会自动下载所需资源、构建自定义镜像并将所有组件连接在一起形成可工作的整体解决方案。 #### 测试接口功能 一旦服务成功上线,则可以通过浏览器或其他 HTTP 工具向 `/predict` 路径发送 POST 请求来进行推理操作。具体实现细节取决于所选框架技术栈的选择[^2]。 #### 性能优化建议 考虑到大型语言模型可能占用较多计算资源,可以考虑采用 Ollama 这样的工具对预训练好的权重参数做进一步精简以便更好地适应不同硬件条件下的实际应用场景需求。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值