Chat之Lobe Chat：Lobechat(一款开源的/设计优雅的类似ChatGPT的多模态聊天框架)的简介、安装和使用方法、案例应用之详细攻略

一个处女座的程序猿

已于 2024-05-07 17:50:45 修改

阅读量3.8k

点赞数 23

分类专栏： NLP/LLMs 文章标签： python Lobe Chat

于 2023-12-14 01:30:14 首次发布

本文链接：https://blog.csdn.net/qq_41185868/article/details/134985538

版权

NLP/LLMs 专栏收录该内容

773 篇文章

订阅专栏

Chat之Lobe Chat：Lobechat(一款开源的/设计优雅的类似ChatGPT的多模态聊天框架)的简介、安装和使用方法、案例应用之详细攻略

2023年7月18日，开源社区重磅发布Lobe Chat项目，这是一个基于Next.js开发的开源AI多模型聊天框架。

背景痛点：传统AI聊天工具支持的模型单一，难以满足用户需求。产品功能单一，难以支撑不同场景下的使用。

解决方案：支持开放API、OpenAI、Azure、Anthropic等多种AI模型供用户选择。支持视觉识别、语音识别、插件调用等多种功能，可以用于各种应用场景。

核心特点：

>> 采用模块化设计，功能易扩展。

>> 提供本地部署和一键云端部署。

>> 界面设计简洁现代，支持响应式适配多端。

>> 预计将支持进一步增强的功能，如图像生成等。

优势：

>> 模型选择程度高，更适合用户需求。

>> 功能丰富，应用广泛。

>> 部署方便，使用成本低。

>> 界面体验好，用户友好。

>> 开源社区活跃，产品迭代迅速。

模型视觉识别 (Model Visual)

TTS & STT 语音会话

Text to Image 文生图

插件系统 (Function Calling)

A 使用 Vercel、Zeabur 或 Sealos 部署

Lobechat的简介

Lobechat是一款现代化设计的开源 ChatGPT/LLMs 聊天应用与开发框架，支持语音合成、多模态、可扩展的（function call）插件系统，一键免费拥有你自己的 ChatGPT/Gemini/Claude/Ollama 应用。

Lobe Chat是一个开源的，设计优雅的ChatGPT/LLMs对话框架。它支持多种模型服务提供商(如OpenAI、Claude 3、Gemini等)、本地大语言模型、视觉识别、语音对话、文本到图片生成等。它还支持插件系统和自定义主题。

GitHub地址：https://github.com/lobehub/lobe-chat/tree/main

1、Lobe Chat的主要特点:

支持多个模型服务提供商，如OpenAI、Claude、Gemini等，用户可以选择不同的模型进行对话；
支持本地大语言模型(如Ollama)；
支持视觉识别，用户可以上传图片进行对话；
支持语音合成和语音识别，可以进行语音对话；
支持文本到图片生成；
支持插件系统，可以扩展功能；
支持 Progressive Web App，可以给用户原生应用的体验；
支持移动设备适配；
支持自定义主题。

2、特性一览

多模型服务商支持

在 LobeChat 的不断发展过程中，我们深刻理解到在提供 AI 会话服务时模型服务商的多样性对于满足社区需求的重要性。因此，我们不再局限于单一的模型服务商，而是拓展了对多种模型服务商的支持，以便为用户提供更为丰富和多样化的会话选择。
通过这种方式，LobeChat 能够更灵活地适应不同用户的需求，同时也为开发者提供了更为广泛的选择空间。

已支持的模型服务商

我们已经实现了对以下模型服务商的支持：

AWS Bedrock：集成了 AWS Bedrock 服务，支持了 Claude / LLama2 等模型，提供了强大的自然语言处理能力。了解更多
Google AI (Gemini Pro、Gemini Vision)：接入了 Google 的 Gemini 系列模型，包括 Gemini 和 Gemini Pro，以支持更高级的语言理解和生成。了解更多
Anthropic (Claude)：接入了 Anthropic 的 Claude 系列模型，包括 Claude 3 和 Claude 2，多模态突破，超长上下文，树立行业新基准。了解更多
ChatGLM：加入了智谱的 ChatGLM 系列模型（GLM-4/GLM-4-vision/GLM-3-turbo），为用户提供了另一种高效的会话模型选择。了解更多
Moonshot AI (月之暗面)：集成了 Moonshot 系列模型，这是一家来自中国的创新性 AI 创业公司，旨在提供更深层次的会话理解。了解更多
Together.ai：集成部署了数百种开源模型和向量模型，无需本地部署即可随时访问这些模型。了解更多
01.AI (零一万物)：集成了零一万物模型，系列 API 具备较快的推理速度，这不仅缩短了处理时间，同时也保持了出色的模型效果。了解更多
Groq：接入了 Groq 的 AI 模型，高效处理消息序列，生成回应，胜任多轮对话及单次交互任务。了解更多
OpenRouter：其支持包括 Claude 3，Gemma，Mistral，Llama2和Cohere等模型路由，支持智能路由优化，提升使用效率，开放且灵活。了解更多
Minimax: 接入了 Minimax 的 AI 模型，包括 MoE 模型 abab6，提供了更多的选择空间。了解更多

同时，我们也在计划支持更多的模型服务商，如 Replicate 和 Perplexity 等，以进一步丰富我们的服务商库。如果你希望让 LobeChat 支持你喜爱的服务商，欢迎加入我们的社区讨论。

支持本地大语言模型 (LLM)

为了满足特定用户的需求，LobeChat 还基于 Ollama 支持了本地模型的使用，让用户能够更灵活地使用自己的或第三方的模型。

查阅 📘 在 LobeChat 中使用 Ollama 获得更多信息

模型视觉识别 (Model Visual)

LobeChat 已经支持 OpenAI 最新的 gpt-4-vision 支持视觉识别的模型，这是一个具备视觉识别能力的多模态应用。用户可以轻松上传图片或者拖拽图片到对话框中，助手将能够识别图片内容，并在此基础上进行智能对话，构建更智能、更多元化的聊天场景。

这一特性打开了新的互动方式，使得交流不再局限于文字，而是可以涵盖丰富的视觉元素。无论是日常使用中的图片分享，还是在特定行业内的图像解读，助手都能提供出色的对话体验。

TTS & STT 语音会话

LobeChat 支持文字转语音（Text-to-Speech，TTS）和语音转文字（Speech-to-Text，STT）技术，这使得我们的应用能够将文本信息转化为清晰的语音输出，用户可以像与真人交谈一样与我们的对话助手进行交流。用户可以从多种声音中选择，给助手搭配合适的音源。同时，对于那些倾向于听觉学习或者想要在忙碌中获取信息的用户来说，TTS 提供了一个极佳的解决方案。

在 LobeChat 中，我们精心挑选了一系列高品质的声音选项 (OpenAI Audio, Microsoft Edge Speech)，以满足不同地域和文化背景用户的需求。用户可以根据个人喜好或者特定场景来选择合适的语音，从而获得个性化的交流体验。

Text to Image 文生图

支持最新的文本到图片生成技术，LobeChat 现在能够让用户在与助手对话中直接调用文生图工具进行创作。通过利用 DALL-E 3、MidJourney 和 Pollinations 等 AI 工具的能力，助手们现在可以将你的想法转化为图像。同时可以更私密和沉浸式地完成你的创作过程。

最近新增	插件描述
Search1API By fatwang2 on 2024-05-06	搜索聚合服务，专为 LLMs 设计 `web` `search`
社交搜索 By say-apps on 2024-05-02	社交搜索提供访问推文、用户、关注者、图片、媒体等功能。 `社交` `推特` `x` `搜索`
通过 Serper 搜索 Google By Barry on 2024-04-30	通过 Serper.dev 免费 API 进行 Google 搜索引擎（每月 2500 次🆓） `网络` `搜索`
NFT Guru By swap on 2024-04-03	发现主要平台上 NFT 的当前价格，并通过实时跟踪快速变化的市场了解情况 `加密货币` `nft`

最近新增	助手说明
视频转博客文章助手 By yayoinoyume on 2024-05-06	帮你快速整理缭乱的字幕，变成精美的博客文章 `字幕整理` `博文格式` `视频变博客`
美术评价导师 By dingyufei615 on 2024-05-06	擅长少儿美术教学，细致评价作品，关注细节，适应不同年龄段学生。 `美术教育` `评价` `创意` `教学` `绘画`
iOS 代码艺术家 By Alcu1n on 2024-05-03	iOS 开发专家，15 年经验，精通 Swift、SwiftUI、Flutter。逻辑清晰的代码，精准 debug，提供 0 到 1 的项目框架。 `i-os开发` `编码` `调试` `项目规划` `逻辑思维`
销售描述专家 By highseen on 2024-04-30	通过研究、定价、描述和标题设计帮助销售二手物品。 `产品销售` `研究` `描述`

我们深知在当今多设备环境下为用户提供无缝体验的重要性。为此，我们采用了渐进式 Web 应用 PWA 技术，这是一种能够将网页应用提升至接近原生应用体验的现代 Web 技术。通过 PWA，LobeChat 能够在桌面和移动设备上提供高度优化的用户体验，同时保持轻量级和高性能的特点。在视觉和感觉上，我们也经过精心设计，以确保它的界面与原生应用无差别，提供流畅的动画、响应式布局和适配不同设备的屏幕分辨率。

Note

若您未熟悉 PWA 的安装过程，您可以按照以下步骤将 LobeChat 添加为您的桌面应用（也适用于移动设备）：

在电脑上运行 Chrome 或 Edge 浏览器 .
访问 LobeChat 网页 .
在地址栏的右上角，单击安装图标 .
根据屏幕上的指示完成 PWA 的安装 .

移动设备适配

针对移动设备进行了一系列的优化设计，以提升用户的移动体验。目前，我们正在对移动端的用户体验进行版本迭代，以实现更加流畅和直观的交互。如果您有任何建议或想法，我们非常欢迎您通过 GitHub Issues 或者 Pull Requests 提供反馈。

自定义主题

作为设计工程师出身，LobeChat 在界面设计上充分考虑用户的个性化体验，因此引入了灵活多变的主题模式，其中包括日间的亮色模式和夜间的深色模式。除了主题模式的切换，还提供了一系列的颜色定制选项，允许用户根据自己的喜好来调整应用的主题色彩。无论是想要沉稳的深蓝，还是希望活泼的桃粉，或者是专业的灰白，用户都能够在 LobeChat 中找到匹配自己风格的颜色选择。

Tip

默认配置能够智能地识别用户系统的颜色模式，自动进行主题切换，以确保应用界面与操作系统保持一致的视觉体验。对于喜欢手动调控细节的用户，LobeChat 同样提供了直观的设置选项，针对聊天场景也提供了对话气泡模式和文档模式的选择。

3、更多特性

除了上述功能特性以外，LobeChat 所具有的设计和技术能力将为你带来更多使用保障：

💎 精致 UI 设计：经过精心设计的界面，具有优雅的外观和流畅的交互效果，支持亮暗色主题，适配移动端。支持 PWA，提供更加接近原生应用的体验。
🗣️ 流畅的对话体验：流式响应带来流畅的对话体验，并且支持完整的 Markdown 渲染，包括代码高亮、LaTex 公式、Mermaid 流程图等。
💨 快速部署：使用 Vercel 平台或者我们的 Docker 镜像，只需点击一键部署按钮，即可在 1 分钟内完成部署，无需复杂的配置过程。
🔒 隐私安全：所有数据保存在用户浏览器本地，保证用户的隐私安全。
🌐 自定义域名：如果用户拥有自己的域名，可以将其绑定到平台上，方便在任何地方快速访问对话助手。

✨ 随着产品迭代持续更新，我们将会带来更多更多令人激动的功能！

4、性能测试

完整测试报告可见 📘 Lighthouse 性能测试

Desktop	Mobile
编辑	编辑
📑 Lighthouse 测试报告	📑 Lighthouse 测试报告

5、开箱即用

LobeChat 提供了 Vercel 的自托管版本和 Docker 镜像，这使你可以在几分钟内构建自己的聊天机器人，无需任何基础知识。

完整教程请查阅 📘 构建属于自己的 Lobe Chat

`A` 使用 Vercel、Zeabur 或 Sealos 部署

如果想在 Vercel 或 Zeabur 上部署该服务，可以按照以下步骤进行操作：

准备好你的 OpenAI API Key 。
点击下方按钮开始部署：直接使用 GitHub 账号登录即可，记得在环境变量页填入 OPENAI_API_KEY （必填） and ACCESS_CODE（推荐）；
部署完毕后，即可开始使用；
绑定自定义域名（可选）：Vercel 分配的域名 DNS 在某些区域被污染了，绑定自定义域名即可直连。目前 Zeabur 提供的域名还未被污染，大多数地区都可以直连。

使用 Vercel 部署	使用 Zeabur 部署	使用 Sealos 部署
编辑	编辑	编辑

Fork 之后

在 Fork 后，请只保留 "upstream sync" Action 并在你 fork 的 GitHub Repo 中禁用其他 Action。

保持更新

如果你根据 README 中的一键部署步骤部署了自己的项目，你可能会发现总是被提示 “有可用更新”。这是因为 Vercel 默认为你创建新项目而非 fork 本项目，这将导致无法准确检测更新。

Tip

我们建议按照 📘 自动同步更新步骤重新部署。

`B` 使用 Docker 部署

我们提供了 Docker 镜像，供你在自己的私有设备上部署 LobeChat 服务。使用以下命令即可使用一键启动 LobeChat 服务：

$ docker run -d -p 3210:3210 \
  -e OPENAI_API_KEY=sk-xxxx \
  -e ACCESS_CODE=lobe66 \
  --name lobe-chat \
  lobehub/lobe-chat

Tip

如果你需要通过代理使用 OpenAI 服务，你可以使用 OPENAI_PROXY_URL 环境变量来配置代理地址：

$ docker run -d -p 3210:3210 \
  -e OPENAI_API_KEY=sk-xxxx \
  -e OPENAI_PROXY_URL=https://api-proxy.com/v1 \
  -e ACCESS_CODE=lobe66 \
  --name lobe-chat \
  lobehub/lobe-chat

Note

有关 Docker 部署的详细说明，详见 📘 使用 Docker 部署

环境变量

本项目提供了一些额外的配置项，使用环境变量进行设置：

环境变量	类型	描述	示例
`OPENAI_API_KEY`	必选	这是你在 OpenAI 账户页面申请的 API 密钥	`sk-xxxxxx...xxxxxx`
`OPENAI_PROXY_URL`	可选	如果你手动配置了 OpenAI 接口代理，可以使用此配置项来覆盖默认的 OpenAI API 请求基础 URL	`https://api.chatanywhere.cn` 或 `https://aihubmix.com/v1` 默认值: `https://api.openai.com/v1`
`ACCESS_CODE`	可选	添加访问此服务的密码，你可以设置一个长密码以防被爆破，该值用逗号分隔时为密码数组	`awCTe)re_r74` or `rtrt_ewee3@09!` or `code1,code2,code3`
`OPENAI_MODEL_LIST`	可选	用来控制模型列表，使用 `+` 增加一个模型，使用 `-` 来隐藏一个模型，使用 `模型名=展示名` 来自定义模型的展示名，用英文逗号隔开。	`qwen-7b-chat,+glm-6b,-gpt-3.5-turbo`

Note

完整环境变量可见 📘 环境变量

获取 OpenAI API Key

API Key 是使用 LobeChat 进行大语言模型会话的必要信息，本节以 OpenAI 模型服务商为例，简要介绍获取 API Key 的方式。

`A` 通过 OpenAI 官方渠道

注册一个 OpenAI 账户，你需要使用国际手机号、非大陆邮箱进行注册；
注册完毕后，前往 API Keys 页面，点击 Create new secret key 创建新的 API Key:

步骤 1：打开创建窗口	步骤 2：创建 API Key	步骤 3：获取 API Key
编辑	编辑	编辑

将此 API Key 填写到 LobeChat 的 API Key 配置中，即可开始使用。

账户注册后，一般有 5 美元的免费额度，但有效期只有三个月。如果你希望长期使用你的 API Key，你需要完成支付的信用卡绑定。由于 OpenAI 只支持外币信用卡，因此你需要找到合适的支付渠道，此处不再详细展开。

`B` 通过 OpenAI 第三方代理商

如果你发现注册 OpenAI 账户或者绑定外币信用卡比较麻烦，可以考虑借助一些知名的 OpenAI 第三方代理商来获取 API Key，这可以有效降低获取 OpenAI API Key 的门槛。但与此同时，一旦使用三方服务，你可能也需要承担潜在的风险，请根据你自己的实际情况自行决策。以下是常见的第三方模型代理商列表，供你参考：

	服务商	特性说明	Proxy 代理地址	链接
编辑	AiHubMix	使用 OpenAI 企业接口，全站模型价格为官方 6 折（含 GPT-4 ）	`https://aihubmix.com/v1`	获取

Warning

免责申明: 在此推荐的 OpenAI API Key 由第三方代理商提供，所以我们不对 API Key 的 有效性 和 安全性 负责，请你自行承担购买和使用 API Key 的风险。

Note

如果你是模型服务商，并认为自己的服务足够稳定且价格实惠，欢迎联系我们，我们会在自行体验和测试后酌情推荐。

6、生态系统

NPM	仓库	描述	版本
@lobehub/ui	lobehub/lobe-ui	构建 AIGC 网页应用程序而设计的开源 UI 组件库	编辑
@lobehub/icons	lobehub/lobe-icons	主流 AI / LLM 模型和公司 SVG Logo 与 Icon 合集	编辑
@lobehub/tts	lobehub/lobe-tts	AI TTS / STT 语音合成 / 识别 React Hooks 库	编辑
@lobehub/lint	lobehub/lobe-lint	LobeHub 代码样式规范 ESlint，Stylelint，Commitlint，Prettier，Remark 和 Semantic Release	编辑

7、插件体系

插件提供了扩展 LobeChat Function Calling 能力的方法。可以用于引入新的 Function Calling，甚至是新的消息结果渲染方式。如果你对插件开发感兴趣，请在 Wiki 中查阅我们的 📘 插件开发指引。

lobe-chat-plugins：插件索引从该仓库的 index.json 中获取插件列表并显示给用户。
chat-plugin-template：插件开发模版，你可以通过项目模版快速新建插件项目。
@lobehub/chat-plugin-sdk：插件 SDK 可帮助您创建出色的 Lobe Chat 插件。
@lobehub/chat-plugins-gateway：插件网关是一个后端服务，作为 LobeChat 插件的网关。我们使用 Vercel 部署此服务。主要的 API POST /api/v1/runner 被部署为 Edge Function。

Note

插件系统目前正在进行重大开发。您可以在以下 Issues 中了解更多信息:

插件一期: 实现插件与主体分离，将插件拆分为独立仓库维护，并实现插件的动态加载
插件二期: 插件的安全性与使用的稳定性，更加精准地呈现异常状态，插件架构的可维护性与开发者友好
插件三期：更高阶与完善的自定义能力，支持插件鉴权与示例

8、本地开发

可以使用 GitHub Codespaces 进行在线开发：

或者使用以下命令进行本地开发：

$ git clone https://github.com/lobehub/lobe-chat.git
$ cd lobe-chat
$ pnpm install
$ pnpm run dev

如果你希望了解更多详情，欢迎可以查阅我们的 📘 开发指南

Lobechat的安装和使用方法

不需要任何安装，用户可以直接在网页上使用；支持一键部署到Vercel、Zeit等平台，也支持使用Docker镜像进行自托管；需要配置OpenAI API密钥，以访问OpenAI模型；支持绑定自定义域名；支持在线开发和本地开发。

Lobechat的案例应用

持续更新中……

案例应用方面，Lobe Chat被广泛应用于产品展示、客户服务、在线教育等场景，与用户进行自然流畅的对话交互。