大模型WebUI：Gradio全解1——Gradio简介：简易WebUI框架

已于 2025-04-14 12:06:14 修改
阅读量3w 收藏 126
点赞数 28
分类专栏： Gradio全解教程 文章标签： Gradio 简介 webview
于 2024-06-28 17:46:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shao918516/article/details/140049399
版权

Gradio全解1——Gradio简介：简易WebUI框架

前言

本系列文章主要介绍WEB界面工具Gradio。Gradio是Hugging Face发布的简易webui开发框架，它基于FastAPI和svelte，便于部署人工智能模型，是当前热门的非常易于开发和展示机器学习大语言模型LLM及扩散模型DM的UI框架。本系列文章分为前置概念和实战演练两部分。前置概念先介绍Gradio的详细技术架构、历史、应用场景、与其他框架Gradio/NiceGui/StreamLit/Dash/PyWebIO的区别，然后详细介绍了大模型及数据的资源网站Hugging Face，包括三种资源models/datasets/spaces、六类开源库transformers/diffusers/datasets/PEFT/accelerate/optimum实战。实战演练部分先讲解了多种不同的安装、运行和部署方式，安装包括Linux/Win/Mac三类系统安装，运行包括普通方式和热重载方式，部署包括本地部署、HuggingFace托管、FastAPI挂载和Gradio-Lite浏览器集成；然后按照先整体再细节的逻辑，讲解Gradio的多种高级特性：三种Gradio Clients（python/javascript/curl）、Gradio Tools、Gradio的模块架构和环境变量等，方便读者对Gradio整体把握；最后深入细节，也是本系列文章的核心，先实践基础功能Interface、Blocks和Additional Features，再详解高级功能Chatbots、Data Science And Plots和Streaming。本系列文章注解详细，代码均可运行并附有大量运行截图，方便读者理解，Gradio一定会成为每个技术人员实现奇思妙想的最称手工具。

本系列文章目录如下：

  1. 《Gradio全解1——Gradio简介》
  2. 《Gradio全解1——Gradio的安装与运行》
  3. 《Gradio全解2——Gradio的3+1种部署方式实践》
  4. 《Gradio全解2——浏览器集成Gradio-Lite》
  5. 《Gradio全解3——Gradio Client：python客户端》
  6. 《Gradio全解3——Gradio Client：javascript客户端》
  7. 《Gradio全解3——Gradio Client：curl客户端》
  8. 《Gradio全解4——Gradio Tools：将Gradio用于LLM Agents》
  9. 《Gradio全解5——Gradio库的模块架构和环境变量》
  10. 《Gradio全解6——Interface：高级抽象界面类（上）》
  11. 《Gradio全解6——Interface：高级抽象界面类（下）》
  12. 《Gradio全解7——Blocks：底层区块类（上）》
  13. 《Gradio全解7——Blocks：底层区块类（下）》
  14. 《Gradio全解8——Additional Features：附加功能（上）》
  15. 《Gradio全解8——Additional Features：附加功能（下）》
  16. 《Gradio全解9——Chatbots：聊天机器人（上）》
  17. 《Gradio全解9——Chatbots：聊天机器人（下）》
  18. 《Gradio全解系列10——Data Science And Plots：数据科学与绘图》
  19. 《Gradio全解11——Streaming：数据流（上）》
  20. 《Gradio全解11——Streaming：数据流（下）》

本章摘要

本章第一节做了Gradio简介，包括Gradio是什么、历史、特性及用途；第二节讲述了Gradio与NiceGui、StreamLit、Dash及PyWebIO的比较，并给出了选择建议；第三节对新版Gradio5的特性作了详解。

1. Gradio简介：WebUI框架

1.1 Gradio介绍

1.1.1 Gradio是什么

Gradio 是一个Hugging Face发布的开源Python包，可以为机器学习模型、API或任意Python函数快速构建demo或web应用，并且通过Gradio的内置共享功能可以快速生成对应的链接，而无需任何JavaScript、CSS或网络托管经验。Gradio的设计理念是“无代码”，它的自封装组件的功能也相对比较完整，因此可以让开发者专注于编写基于python代码的业务处理逻辑，而无需关注web前端页面的代码实现细节。这意味着你不需要编写复杂的代码就可以创建一个交互式的界面，其官网如下图所示：
在这里插入图片描述
gradio框架基于svelte，它是一个组件框架，构建在HTML之上，是一种全新的构建用户界面的方法，就像React或Vue一样，但有一个重要的区别。传统React或Vue框架支持声明性状态驱动的代码，但缺点是：浏览器必须额外将这些声明性结构转换为DOM操作，这会占用框架和垃圾收集器的运行资源。而Svelte将组件转换为高效的命令式代码以精确更新DOM，并通过构建应用程序的编译阶段来处理，这有助于编写大型且高性能的应用程序。

1.1.2 Gradio的历史

Gradio 的发展历史可以追溯到2019年，其创始人是Abubakar Abid和Ali Abdalla，他们都是斯坦福大学的研究生。他们发现，尽管机器学习模型的复杂性在不断增加，但是这些模型的可解释性和可访问性却并没有得到相应的提高。因此，他们决定创建一个工具，使得任何人都可以轻松地与机器学习模型进行交互。

自从发布以来，Gradio已经得到了广泛的应用。它被用于创建了各种各样的模型界面，包括图像分类器、语音识别系统、文本生成器等等。Gradio的用户群体也非常广泛，从研究人员和数据科学家，到教师和学生，甚至包括艺术家和记者。

Gradio的发展也得到了社区的大力支持。它的GitHub仓库已经收到了数千个星标，这表明了开发者对这个项目的热情。此外，Gradio也得到了一些重要的更新，比如增加了新的界面元素model3D、audio、video等，改进了性能以及提高了兼容性。截至发稿前，其最新版本已更新到5.12.0。

gradio的github地址为：https://github.com/gradio-app/gradio，如下：

在这里插入图片描述通过简介中的demo演示，我们可以先目睹下Gradio的风采.

1.1.3 Gradio的特性

Gradio的主要目标是使模型的测试和调试变得更加简单，同时也让非技术用户能够理解和使用这些模型。以下是Gradio的一些主要特性和关键技术：

  1. 易于使用：Gradio的一个主要优点是它的易用性。开发者只需要几行代码就可以为他们的模型创建一个交互式的预览界面。这个界面可以包含各种输入和输出类型，包括文本、图像、音频及视频等。
  2. 灵活性：Gradio不仅可以用于各种类型的模型，包括强化学习模型、深度学习模型、传统的机器学习模型，甚至是简单的函数，而且它也可以在各种环境中运行，包括Jupyter notebook、Python脚本、Colab notebooks等。
  3. 共享和部署：Gradio还提供了一个共享功能，开发者可以通过一个链接将他们的模型界面分享给其他人。此外，Gradio也支持模型的部署，开发者可以将他们的模型和界面部署到云端，使其可以在网页上访问。
  4. 可解释性：Gradio还提供了一些工具来帮助用户理解模型的预测。例如，它可以显示模型的预测分布，或者使用类似于 LIME和SHAP的技术来解释模型的预测。
  5. 多模型比较：Gradio可以同时显示多个模型的预测结果，这使得模型的比较和选择变得更加简单。

1.1.4 Gradio的用途

Gradio的主要优势在于其易用性和灵活性，主要用于快速搭建和分享机器学习模型的交互式演示界面，使得非技术用户也能轻松理解并测试模型的功能，广泛应用于模型展示、教育及协作场景。以下是Gradio的一些主要使用场景：

  1. 模型演示和测试：数据科学家和机器学习工程师经常需要向同事、管理层或潜在客户展示他们的模型。Gradio提供了一种快速创建交互式演示的方式，用户可以通过Web界面上传数据、调整参数，并实时查看模型的输出结果。这种方式有助于更好地解释模型的工作原理和性能。
  2. 模型验证和调优：在模型开发过程中，开发者需要不断验证模型的性能并进行调优。Gradio可以快速搭建一个模型验证界面，允许用户输入不同的参数或数据，实时查看模型的预测结果和性能指标。这有助于开发者快速迭代和优化模型。
  3. 数据收集和标注：在机器学习项目中，收集和标注数据是一个耗时且关键的步骤。Gradio可以用来创建一个数据标注界面，让非技术用户（如标注员）能够上传数据、进行标注，并将结果直接保存到模型的训练数据集中。这不仅提高了数据收集的效率，还有助于提高数据质量。
  4. 教育和培训：Gradio可以用于创建交互式的教育工具，帮助学生和初学者理解复杂的机器学习概念。通过可视化的界面和实时反馈，学习者可以更直观地看到模型是如何工作的，以及不同参数是如何影响模型输出的。
  5. 商业应用和产品开发：对于希望将机器学习技术商业化的公司来说，Gradio提供了一种快速将模型转化为产品原型的方式。通过Gradio创建的Web应用可以作为产品的前端，让用户直接与模型交互，从而验证市场需求和用户体验。
  6. 研究和开发：在研究环境中，Gradio可以帮助研究人员创建交互式的实验平台，以便快速测试新算法或模型。研究人员可以通过Gradio界面收集实验数据，实时观察实验结果，并据此调整研究方向。
  7. 社区和开源项目：对于开源项目，Gradio可以用来创建一个社区驱动的模型测试和改进平台。开发者可以邀请社区成员通过Web界面测试模型、提供反馈，并共同参与模型的优化过程。

Gradio的使用场景非常广泛，它降低了机器学习模型部署的门槛，使得更多的人能够参与到模型的开发、测试和应用中来。通过Gradio，开发者可以专注于模型的核心算法，而不必担心前端开发的复杂性。这种工具的普及，无疑将推动机器学习技术的快速发展和广泛应用。

1.2 Gradio与NiceGui、StreamLit、Dash及PyWebIO的比较

随着机器学习的发展，便于展示模型训练效果的可视化框架也逐渐兴盛。当前比较流行的框架包括Gradio、NiceGui、StreamLit、Dash及PyWebIO等，它们是轻量级的Python前端框架，而传统的遵循MVC设计模式的Python Web框架如Flash、Django更适合大型复杂的项目。下面对5个轻量级框架进行简单比较和说明。

1.2.1 各个框架区别

先看下图，图中对使用场景、MD/HTML/CSS支持、Jupyter Notebook内支持、上手难度、组件丰富度、综合扩展性、是否开源、基础框架及github starts进行了比较，从中对比可以看出Gradio简单易用、灵活便捷和发展迅速的特点：

–gradioniceguistreamitdashPyWebIO
主要使用场景可交互Demo，模型及算法小型web apps、DashBoard、机器学习算法及机器人工程生成报告、DashBoard及AI/MI apps机器学习、数据科学及web apps可交互简单web和基于浏览器的GUI
MD/HTML/CSS支持是是是是是
Jupyter Notebook内支持是是否是是
上手难度简单简单中等中等中等
组件丰富度低中高高中
综合扩展性低中中高中
是否完全开源是是是部分企业级功能未开源是
基础框架前端svelte后端FastAPI前端vue和Qursar，后端FastAPIReact和tornadoPlotly.js，React和FlaskPython源码
github stars变化(2024/06-2025/01)30.1k-35.2k7.9k-10.5k32.7k-36.6k20.7k-21.8k4.4k-4.6k

总结：Gradio、NiceGui、Streamlit和Dash都是创建机器学习应用的优秀工具，但它们各有优劣。如果你需要快速创建一个简单应用或原型设计，Gradio、NiceGui和Streamlit都是比较好的选择 ，Streamlit提供较高的自由度，默认组件库更为精细和多样化，并且支持自定义组件及异步加载，支持更多的可视化展示例如Matplotlib、Vega Lite (2D charts) 和deck.gl (maps and 3D charts)，因此无法支持Jupyter Notebook。Gradio相对而言更专注于深度学习模型的部署，对于模型的输入输出有一定要求，但在这个框架下，用户可以更专注于模型本身的迭代，随着大模型的流行，其github starts增长最快，有逐渐赶超streamlit成为第一的趋势。NiceGui基于vue，在复杂性和易用性之间取得了平衡。如果你需要创建一个复杂的应用，或者你需要更多的控制权，Dash更合适，但它使用python编写前端+后端，代码会比较冗长。对于熟悉python的开发者，PyWebIO适合简单web或基于浏览器的GUI，另外它并没有针对机器学习的开发功能。如果你的项目更加复杂，需要更多的功能、定制性和可扩展性，可能需要考虑使用更强大的框架，比如PyQt、Tkinter（Python自带的GUI库）、wxPython或Kivy 等。

1.2.2 框架选择建议

前端框架复杂多样，作者非专业前端人员，只是为介绍Gradio而查了一些资料，有补充或异议的朋友请留言告知。没有包治百病的灵丹妙药，同样也没有适合所有场景的框架，所以在选择具体框架之前，作者建议根据具体项目决定，通常需要考虑以下几个因素：

  1. 功能性：该框架是否具备你需要的所有功能？它是否支持你需要的所有控件和功能？

  2. 社区支持：如果你遇到问题或需要帮助，该框架的社区是否足够大和活跃，能够提供足够的支持和资源？

  3. 文档和学习资源：该框架的文档是否详尽？是否有足够的教程和学习资源？

  4. 兼容性和可移植性：该框架是否能在你需要支持的所有平台上运行？

  5. 长期维护：该框架的开发和维护是否足够活跃，能够持续提供新的功能和修复bug？

当开发具体项目时，需结合项目需求和上述因素来决定所用框架。

1.3 新版Gradio 5特性

不得不感慨，Gradio更新是真的快，彰显了Gradio强大的生命力和广阔的应用前景。在读者看到本系列文章时，Gradio一定会快速迭代到更新的版本，但不影响本系列文章所梳理的整体脉络和某些基本组件的使用方法。对于读者来说，无论您是人工智能领域大模型开发的技术人员，还是其它行业从业者，掌握这门WEB UI开发工具，都可以利用掌握的数据和工具（哪怕只是一个功能函数），快速开发出属于自己的网站界面，从而只需一个URL便可向客户或老板作专业演示，而无须求助于专业的前端技术人员。所以作者认为，从今往后，掌握Gradio可能是每个有志向的IT从业必备技能，所以赶紧学起来吧。

使用Gradio 5，开发者可以构建生产级的机器学习Web应用程序，这些应用不仅性能优越、可扩展、设计精美、易于访问，而且还遵循了最佳的Web安全实践。更重要的是，只需几行Python代码即可实现。想要体验 Gradio 5，只需在终端中输入以下命令：

pip install --upgrade gradio

下面让我们了解下Gradio 5稳定版的新特性。

1.3.1 Gradio 5：面向生产环境的机器学习应用构建工具

如果你之前使用过Gradio，可能会想知道Gradio 5有什么不同。Gradio 5的目标是倾听和解决Gradio开发者在构建生产级应用时遇到的常见问题。例如：

  1. “Gradio 应用加载太慢” → Gradio 5带来了重大的性能改进，其中包括通过服务端渲染 (SSR) 提供Gradio应用，几乎可以在浏览器中瞬间加载应用，告别加载时的转圈圈！ 🏎️💨

视频对比如下：

gradio-4-vs-5-load

对于无法观看视频的同学，可以通过视频截图对比Gradio4与Gradio5的速度差异：
第一步，点击load开始同时加载，如下：
在这里插入图片描述
第二图，Gradio5已加载完毕，如下：

在这里插入图片描述第三步，Gradio4加载完毕，以及两者界面对比：
在这里插入图片描述
对比视频的加载事件可以看到，即使简单的应用，Gradio5对比Gradio4也有明显的提升，当界面复杂时速度提升会更明显。

  1. “这个 Gradio 应用看起来有点过时” → Gradio 5对许多核心组件进行了现代化设计改进，包括按钮、标签页、滑块以及高级聊天界面。同时Gradio5还发布了一组全新的内置主题，让你可以轻松创建外观时尚的Gradio应用 🎨。两者界面对比可参考上面截图。

  2. “我无法在Gradio中构建实时应用” → Gradio 5实现了低延迟的流式处理！它使用base64编码和websockets自动加速，还通过自定义组件支持WebRTC。此外，还增加了大量文档和示例演示，涵盖了常见的流式处理用例，如基于摄像头的物体检测、视频流处理、实时语音转录与生成，以及对话型聊天机器人。 🎤

  3. “LLM不了解Gradio” → Gradio 5推出了一个实验性的 AI Playground，你可以在其中使用 AI 来生成或修改 Gradio 应用，并立即在浏览器中预览：https://www.gradio.app/playground。这个平台也可以作为在线运行平台，以检验您的代码，作者也会在后续文章中反复用到这个在线运行工具。
    Gradio playground结合AI的使用可参考以下视频：

simple-playground

Gradio playground运行截图如下：
在这里插入图片描述

  1. Gradio Sketch：无需编写任何代码也能构建Gradio应用。只需在终端输入 gradio sketch即可打开编辑器，通过网页界面自由定义/修改 Gradio 组件、调整布局、添加事件交互。或直接使用Hugging Face Spaces上托管的在线版 Gradio Sketch：aliabid94/Sketch。

Gradio 5在保留简单直观的开发者API的同时，提供了所有这些新功能。作为面向各种机器学习应用的生产级 Web 框架，Gradio 5还在Web 安全性方面做了重大改进（包括第三方审计）——更多详情请关注Hugging Face的官方博客，地址https://huggingface.co/blog/zh。

1.3.2 Breaking changes-不兼容的更改

在 Gradio 4.x 中没有出现弃用警告的 Gradio 应用应该可以继续在 Gradio 5 中正常运行，少数例外请参考Gradio 5中的不兼容更改列表。

1.3.3 Gradio 的下一步计划

我们在 Gradio 5 中的许多更改是为了支持即将发布的新功能。敬请期待以下内容：

  1. 支持多页面的 Gradio 应用，以及原生的导航栏和侧边栏；
  2. 支持通过 PWA 在移动设备上运行 Gradio 应用，甚至可能支持原生应用；
  3. 更多媒体组件，以支持新兴的图像和视频处理模式；
  4. 更丰富的 DataFrame 组件，支持常见的电子表格操作；
  5. 与机器学习模型和 API 提供商的一键集成；
  6. 进一步减少 Gradio 应用的内存消耗。

当然还有更多功能。有了 Gradio 5提供的稳固基础，可以让开发者使用 Gradio 构建各种机器学习应用。

1.3.4 立即试用 Gradio 5

以下是一些运行 Gradio 5 的 Hugging Face Spaces：

  1. https://huggingface.co/spaces/akhaliq/depth-pro
  2. https://huggingface.co/spaces/hf-audio/whisper-large-v3-turbo
  3. https://huggingface.co/spaces/gradio/chatbot_streaming_main
  4. https://huggingface.co/spaces/gradio/scatter_plot_demo_main

1.4 关于Gradio网站访问

由于国内已禁止访问国外大部分AI资源网站，那么Gradio托管在HF的Spaces上的Demos怎么办呢？

1.4.1 在线运行平台：playground

Gradio是Hugging Face发布的Python库，其官网地址为：https://www.gradio.app/，正常情况下它可以在国内访问。但由于Gradio线上Demos大部分托管在Hugging Face的Spaces中，而Hugging Face的官网架设在国外，在国内已经被禁止访问，因此经常会出现Gradio中的Demos无法加载的问题。可加载时如下图所示：
在这里插入图片描述
注意右下角的字样"托管在spaces"。

不过自官方文档版本Docs5.8.0之后，官方在某些代码片段后已有意删除了紧随在代码后的Demos显示，只保留代码，如下图：

在这里插入图片描述这时我们只需将代码复制到Gradio的在线运行平台playground（网址：https://www.gradio.app/playground）中，便可观察其运行情况。

有时，也会使用Gradio自己的平台构建Demos，如下图：
在这里插入图片描述这里列举了3种Gradio平台的代码运行情况，方便读者知悉其区别。

1.4.2 如何绕过限制

如果仍想访问Gradio托管在Hugging Face的Spaces上的Demos，比如上一节立即试用Gradio5中的Demos，该怎么办呢？Hugging Face在国内有一个镜像网站：https://hf-mirror.com/，但它只镜像了HF中的模型和数据库，如下：

在这里插入图片描述

如需下载HF中的模型或数据库，只需用镜像网站的地址替换掉链接中的https://huggingface.co/即可，当然仍会用到hf_token。

为了绕过限制，获取想要的资源，可使用境外VPN，不过在CSDN或者国内，都是不支持使用或者禁止传播的，请读者知悉，根据自己实际情况选择。作者使用的工具是仪表盘，它便宜又好用，此外还有较贵的搬瓦工、西部世界等，适合企业级用户，读者可参考各自官网教程自行设置。除了作者的办法，读者也可自行解决境外访问问题，比如请境外朋友帮忙，或去机场候机厅蹭网…有了境外VPN，无论是申请HF账户及HF_TOKEN，还是访问Gradio的在线Demos，都可迎刃而解。

了解完Gradio的基本情况，下一章开始讲述Gradio的安装、运行和部署。

参考文献

  1. 使用Gradio让机器学习模型交互起来
  2. 快速生成 AI 应用的框架对比：Gradio、Streamlit 和 Dash
  3. Gradio 5 现已发布
  4. Gradio - Quickstart
Gradio全解系列——Interface：高级抽象界面类（下）
shao918516的博客
12-04 976
本章介绍Gradio的高级抽象类：Interfaces，即界面类。按照惯例，先详细介绍Interface类的各种API参数和成员函数，然后进行实践。实践分为基础类演示和高级类演示，基础类演示包括不同数量输入输出组件的演示、Interface类的描述性内容、组件的不同属性和使用Accordion折叠式的附加输入；高级类演示包括多媒体处理、Examples示例、Flagging标记和Interface状态，下面逐一讲述。
全网最详细Gradio教程系列5——Gradio Client: python
shao918516的博客
07-26 5041
程序部署完成后，如何将Gradio App作为API访问使用呢，这就用到Gradio Client。本章讲解Gradio Client的三种使用方式：python、javascript和curl，受字数限制，所以分三篇博客发布。 使用Gradio Python Client非常易于将Gradio应用程序作为API使用，本节讲述gradio_client安装、如何连接Gradio应用程序、查看可用API及其使用方式、job及session等用法。 通过Gradio Python Cli
10个优秀的Web UI库框架
04-15
稀有资源，10个优秀的Web UI库框架 不可错误。
【gradio】使用Gradio快速开发前端界面：基础知识
最新发布
放纵小开爱的博客
03-20 1399
在机器学习和深度学习项目中，模型的部署和展示往往是一个重要的环节。然而，传统的前端开发流程可能对数据科学家或算法工程师来说过于复杂。Gradio 是一个轻量级的 Python 库，能够帮助开发者快速构建交互式的前端界面，用于展示模型的功能或进行简单的数据处理。下面将零帧起手，学习Gradio 的基础知识，并通过一个简单的示例掌握其用法。我将所学内容汇总于这个专栏。Gradio 是一个开源的 Python 库，专为机器学习和数据科学项目设计。允许用户通过几行代码快速创建交互式界面，无需任何前端开发经验。
【Gradio】四种 Gradio 界面
cxyhjl的博客
06-12 2916
到目前为止，我们一直假设要构建 Gradio 演示，您需要输入和输出。但这并不总是机器学习演示的情况：例如，无条件图像生成模型不需要任何输入，但会产生图像作为输出。结果显示gradio.Interface类实际上可以处理 4 种不同类型的演示：标准演示：具有独立的输入和输出（例如图像分类器或语音识别模型）仅输出演示：不需要任何输入但产生输出（例如无条件图像生成模型）仅输入演示：这些演示不产生任...
Python 【工具】 之 【Gradio】AI 模型展示工具的 安装、使用案例教程（一）
仙魁XAN
11-29 2385
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
Gradio入门到进阶全网最详细教程
Hfengxiang的博客
07-29 3030
fn=greet,# 自定义输入框# 具体设置方法查看官方文档Interface.launch()方法返回三个值app，为 Gradio 演示提供支持的 FastAPI 应用程序local_url，本地地址share_url，公共地址，当share=True时生成fn=greet,要获得额外的样式功能，您可以设置行内css属性将任何样式给应用程序。如下所示。#修改blocks的背景颜色。
本地如何通过Ollama部署llama3、phi3等本地大模型？
lvaolan8888的博客
06-06 1840
来运行阿里的通译千问大模型，生成内容质量还可以而且速度也很快，（题外：生成的文章如果收录不是很好，最好不要用markdown格式和html格式，直接用文本格式）包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
Y525698136的博客
08-07 1405
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
【大模型对话 的界面搭建-Open WebUI】
zishuijing_dd的博客
09-24 2278
模型的界面可视化搭建
Ollama部署大模型并安装WebUi
爱折腾的技术人
06-21 4421
Ollama用于在本地运行和部署大型语言模型（LLMs）的工具，可以非常方便的部署本地大模型。
H+ui 4.1 新版本 web前端ui框架 最新版
11-08
H+ui 4.1 新版本 web前端ui框架 最新版, 包含所有模块 报表 统计 静态资源 CSS
Gradio全解2——浏览器集成Gradio-Lite
shao918516的博客
06-29 2024
本篇详细介绍了Gradio的第四种部署方式：无服务器的浏览器集成部署Gradio-Lite。
Gradio全解系列——Blocks：底层区块类（上）
shao918516的博客
12-09 969
本篇介绍Gradio的底层区块类：Blocks。按照惯例，先讲解Blocks类的简介、各种API参数和成员函数，然后进行实践。由于其五个成员函数和Interface类一模一样，所以参照前面的成员函数即可，这里不再重复。实践部分内容非常多，主要包括Blocks基础操作、高级特性、控制布局、动态渲染、定制CSS和JS和将Blocks用作函数，下面逐一讲述。
Gradio全解系列——Blocks：底层区块类（下）
shao918516的博客
12-24 827
本章开始介绍Gradio的底层类：Blocks，即区块类，Blocks是Gradio的重中之重，请读者务必理解并进行演练。Blocks实现了多种界面的定制化功能，但仍完全基于Python。相比Interface类，Blocks提供了更大的灵活性和可控性。本章概括总结Blocks的大部分知识，包括Blocks类详解、Blocks基础操作、高级特性、控制布局、动态渲染、定制theme/CSS/JS及将Blocks用作函数，下面逐一讲述。
【Gradio】快速入门
cxyhjl的博客
06-10 1610
https://www.gradio.app/Gradio 是一个开源 Python 软件包https://github.com/gradio-app/gradio ，可以让你快速为机器学习模型、API 或任何任意 Python 函数创建一个演示或网络应用程序。然后，您就可以使用 Gradio 内置的分享功能，在几秒钟内分享您的演示或网络应用程序的链接。无需 JavaScript、CSS 或网络托...
Gradio入门
ove_z的博客
09-17 896
Gradio入门的一些例子和介绍
Gradio技术入门（一）
m0_72765822的博客
07-18 1290
1. 定义与用途Gradio通过Python生成一套HTML页面，其中编写好了大部分的组件，主要为了方便测试AI模型。它可以让机器学习模型拥有用户友好的图形界面，使得展示和测试模型变得简单快捷，无需深入了解复杂的前端技术。Gradio特别适合希望快速展示其研究成果的机器学习研究人员和开发者，同时也适用于数据科学、教育、研究和软件开发领域，尤其适合于快速原型设计、模型验证、演示和教学。2. 核心功能界面创建。
Gradio：零代码构建AI服务的魔法工具箱
jane_xing的博客
02-25 777
""",**kwargs从Weeks到Hours：开发周期数量级缩短从专家到大众：非前端工程师也能构建专业界面从演示到生产：支持从小型Demo到企业级应用行动指南尝试官方教程（30分钟入门）将现有模型转换为Web服务（1小时实践）当AI能力可以像搭积木一样快速组合，我们正站在人工智能普惠化的关键转折点。Gradio这把打开AI服务之门的钥匙，你准备好使用它了吗？
讲述一下本地的LLM(DeepSeek)大模型，采用用Docker部署，在WebUI中怎么实现联网搜索功能，告诉我详细的操作方法，Windows 11 专业工作站版平台。
02-27
<think>好的，我需要帮助用户了解如何在Windows 11上使用Docker部署本地DeepSeek大模型，并通过WebUI实现联网搜索功能。首先，我应该分步骤来组织这个过程，确保每个环节都清晰易懂。 首先，用户可能已经安装了Docker，但需要确认。如果还没有，我应该提供安装Docker Desktop的步骤，包括下载链接和基本配置。接下来，获取DeepSeek的Docker镜像，可能需要从Docker Hub或者私有仓库拉取，这里要说明具体的命令，比如docker pull。 然后是运行容器，这里需要注意端口映射和环境变量的设置，特别是如果需要联网功能，可能需要配置代理或者网络模式。不过，联网搜索功能通常需要额外的组件，比如Serper API或搜索引擎的API集成，这部分可能需要用户在容器中安装相关库，或者在启动命令中添加环境变量。 接下来是WebUI部分，可能需要使用像Gradio或Streamlit这样的框架。需要指导用户如何修改WebUI的代码，添加搜索功能的接口，调用API，并将结果整合到模型的响应中。这里要详细说明代码修改的位置，比如在生成回答前调用搜索函数，获取网络信息，然后结合本地模型的处理。 还需要考虑API密钥的安全性，建议用户如何安全地存储和调用这些密钥，比如通过环境变量或配置文件。同时，网络请求可能需要处理超时和错误，确保应用的稳定性。 最后，测试整个流程，运行容器，访问WebUI，验证搜索功能是否正常工作。如果出现问题，指导用户检查日志，查看可能的错误原因，比如网络连接问题、API密钥错误或依赖缺失。 总结起来，步骤应该是：安装Docker→获取镜像→运行容器→配置WebUI和搜索功能→测试。过程中要强调细节，比如命令的正确写法，配置文件的修改位置，以及常见问题的解决方法。确保用户按照步骤操作能够顺利实现联网搜索功能。</think>以下是在Windows 11专业工作站版通过Docker部署DeepSeek大模型并实现WebUI联网搜索的详细步骤： --- ### 一、基础环境准备 1. **安装Docker Desktop** - 访问[Docker官网](https://www.docker.com/products/docker-desktop/)下载Windows版安装包 - 启用WSL2支持：`控制面板 > 程序 > 启用或关闭Windows功能`勾选"适用于Linux的Windows子系统"和"虚拟机平台" - 安装完成后，在PowerShell验证： ```bash docker --version ``` 2. **获取DeepSeek镜像** ```bash docker pull deepseek/deepseek-chat:latest ``` --- ### 二、联网功能实现方案 #### 方案1：通过Serper API集成（推荐） 1. **申请API密钥** - 访问[serper.dev](https://serper.dev/)注册账号，获取免费API Key（每月2500次搜索） 2. **创建自定义Docker镜像** ```dockerfile # Dockerfile FROM deepseek/deepseek-chat:latest RUN pip install requests google-search-results ENV SERPER_API_KEY=your_api_key_here ``` 3. **构建镜像** ```bash docker build -t deepseek-web . ``` --- #### 方案2：本地搜索引擎集成 1. **安装SearXNG搜索引擎** ```bash docker pull searxng/searxng:latest docker run -d -p 8080:8080 searxng/searxng ``` 2. **修改DeepSeek配置** ```python # 在WebUI代码中添加： import requests def web_search(query): url = "http://localhost:8080/search" params = {"q": query, "format": "json"} return requests.get(url, params=params).json() ``` --- ### 三、部署与配置 1. **启动DeepSeek容器** ```bash docker run -d -p 7860:7860 \ --name deepseek-web \ -e SERPER_API_KEY=your_key \ deepseek-web ``` 2. **修改WebUI逻辑** 在响应生成逻辑前添加： ```python # 示例伪代码 def generate_response(prompt): if needs_web(prompt): search_results = web_search(extract_keywords(prompt)) context = format_search_results(search_results) prompt = f"{context}\n用户提问：{prompt}" return model.generate(prompt) ``` --- ### 四、访问验证 1. 打开浏览器访问 `http://localhost:7860` 2. 测试联网功能： ```text 用户输入：请告诉我今天北京到上海的最低机票价格是多少？ 系统响应： [联网搜索中...] 根据最新查询结果，今日最低票价： - 中国国航 CA1557 经济舱 ￥680（08:30-10:45） - 东方航空 MU5158 超级经济舱 ￥720（12:15-14:30） （数据更新于2024-02-20 09:00 UTC+8） ``` --- ### 五、注意事项 1. **网络配置** - 若使用VPN，需在Docker设置中配置代理： ```bash docker run -e http_proxy=http://host.docker.internal:7890 \ -e https_proxy=http://host.docker.internal:7890 ``` 2. **性能优化** ```bash docker run --gpus all --shm-size 8g -e MAX_SEARCH_RESULTS=3 ... ``` 3. **安全建议** - 使用HTTPS反代 - 定期更新镜像 - 设置访问密码： ```bash docker run -e WEBUI_AUTH=username:password ... ``` 遇到具体问题时可查看容器日志： ```bash docker logs -f deepseek-web ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值