Docker本地部署lobe-chat(LLM)

前言

lobehub/lobe-chat:🤯lobe Chat——一个开源的,现代设计的LLMs/AI聊天框架。支持多AI提供者(OpenAI / Claude 3 / Gemini / Ollama /基岩/Azure/Mistral/perplenty)、多模态(Vision/TTS)和插件系统。一键免费部署您的私人ChatGPT聊天应用程序。
在这里插入图片描述

一、lobe-chat是什么?

一个开源的、现代设计的chat GPT/LLMs UI/框架。
支持语音合成、多模态和可扩展(函数调用)外挂系统。
一键式自由的部署您的私人open ai chat GPT/Claude/Gemini/Groq/ol Lama聊天应用程序。

支持的模型服务提供商
我们已经实现了对以下模型服务提供商的支持:
AWS基岩:与AWS基础服务集成,支持以下模型克劳德/拉玛2,提供强大的自然语言处理能力。了解更多信息
Anthropic(克劳德):访问Anthropic的克劳德包括Claude 3和Claude 2在内的系列型号,在多模态能力和扩展上下文方面取得突破,树立了新的行业标杆。了解更多信息
谷歌人工智能(双子专业版,双子视觉版):访问谷歌的双子星座系列机型,包括Gemini和Gemini Pro,支持高级语言理解和生成。了解更多信息
格罗克:访问Groq的AI模型,高效处理消息序列并生成响应,能够进行多轮对话和单次交互任务。了解更多信息
OpenRouter:支持模型的路由,包括克劳德3, 芽, 西北风, Llama2和密切配合,以智能路由优化提高使用效率,开放灵活。了解更多信息
01.艾(易模型):集成了01。AI模型,具有推理速度快的一系列API,不仅缩短了处理时间,而且保持了优秀的模型性能。了解更多信息
在一起. ai:超过100种领先的开源聊天、语言、图像、代码和嵌入模型可通过Together Inference API获得。对于这些型号,您只需为您使用的产品付费。了解更多信息
ChatGLM:添加了ChatGLM智普爱系列车型(GLM-4/GLM-4-vision/GLM-3-turbo),为用户提供了另一种高效的通话模式选择。了解更多信息
月亮的阴暗面:与Moonshot系列模型集成,这是一家来自中国的创新型人工智能初创公司,旨在提供更深入的对话理解。了解更多信息
极大极小:整合了极小极大模型,包括MoE模型abab6,提供了更广泛的选择。了解更多信息
DeepSeek:与来自中国的创新人工智能初创公司DeepSeek系列模型集成,该产品旨在提供一种平衡性能与价格的模型。了解更多信息
Qwen:集成了Qwen系列型号,包括最新型号qwen-turbo, qwen-plus和qwen-max. 更加倾斜

二、💨快速部署

1.使用Docker部署

lobe-chat提供了一个Docker映像,用于在您自己的私有设备上部署LobeChat服务。使用以下命令启动LobeChat服务:
$ docker run -d -p 3210:3210
-e OPENAI_API_KEY=sk-xxxx
-e ACCESS_CODE=lobe66
–name lobe-chat
lobehub/lobe-chat

2.环境变量

该项目提供了一些用环境变量设置的附加配置项:

环境变量 需要 描述 例子
OPENAI_API_KEY 是 这是您在OpenAI帐户页面上应用的API密钥 sk-xxxxxx…xxxxxx
OPENAI_PROXY_URL 不 如果您手动配置OpenAI接口代理,您可以使用此配置项目来覆盖默认的OpenAI API请求基本URL https://api.chatanywhere.cn或者https://aihubmix.com/v1
默认值为
https://api.openai.com/v1
ACCESS_CODE 不 添加密码以访问此服务;可以设置长密码,避免泄露。如果该值包含逗号,则它是一个密码数组。 awCTe)re_r74或者rtrt_ewee3@09!或者code1,code2,code3
OPENAI_MODEL_LIST 不 用于控制型号列表。使用+要添加模型,-隐藏一个模型model_name=display_name自定义模型的显示名称,用逗号分隔。 qwen-7b-chat,+glm-6b,-gpt-3.5-turbo

总结

这样安装步骤部署完毕之后就能用拉。
在这里插入图片描述

要在Docker部署一个Chatbot GPT-2,您需要按照以下步骤操作: 1. 首先,您需要安装DockerDocker Compose。您可以在官方网站上找到有关如何安装这些工具的文档。 2. 接下来,您需要下载Chatbot GPT-2代码并将其放置在一个文件夹中。您可以从GitHub或其他来源获取该代码。 3. 在该文件夹中,您需要创建一个名为“ Dockerfile”的文件,并将以下内容复制到该文件中: ``` FROM tensorflow/tensorflow:latest-gpu-py3 RUN apt-get update && apt-get install -y git RUN git clone https://github.com/huggingface/transformers.git && \ cd transformers && git checkout v3.0.2 && \ pip install . RUN git clone https://github.com/microsoft/DialoGPT.git && \ cd DialoGPT && git checkout v1.0 && \ pip install -r requirements.txt WORKDIR /app COPY . . CMD ["python", "main.py"] ``` 这个Dockerfile使用最新的TensorFlow GPU映像,安装了必要的软件包和依赖项,然后将应用程序代码复制到容器中并启动主程序。 4. 接下来,您需要创建一个名为“ docker-compose.yml”的文件,并将以下内容复制到该文件中: ``` version: '3' services: chatbot: build: . expose: - 5000 ports: - 5000:5000 environment: - GPU=1 ``` 这个docker-compose文件定义了一个服务,使用刚才创建的Dockerfile进行构建。它将端口5000暴露给主机,并将容器端口5000映射到主机端口5000。它还设置了一个名为GPU的环境变量,以便容器可以使用GPU。 5. 现在您可以运行以下命令来构建和启动Chatbot GPT-2容器: ``` docker-compose build docker-compose up -d ``` 第一条命令将构建容器,而第二条命令将启动容器并在后台运行。现在,您可以访问http://localhost:5000来与Chatbot GPT-2进行交互。 希望这可以帮助您部署Chatbot GPT-2容器
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
>