- 博客(149)
- 资源 (6)
- 收藏
- 关注
原创 第16章(3)——项目十六:Gradio应用拓展为Website Widget
除了在Discord、Slack中使用Gradio App,还可以将Gradio应用作为聊天插件添加到网站中,比如Intercom等常见的客服工具。适合场景:①为文档页面添加AI助手;②在作品集或产品官网上提供互动帮助;③为Gradio应用创建自定义聊天界面。
2026-04-30 05:12:10
186
原创 第16章(2)——项目十五:Gradio应用拓展为Slack Bot
Slack可以将人员、项目、应用和AI代理整合在一起,进行人员协作、项目管理、工具集成,并可使用人工智能Slack AI及智能代理Agentforce提供服务。将Gradio应用拓展到Slack,创建Slack Bot,让Slack工作区中的成员直接与之互动,下面逐步讲述部署过程。
2026-04-30 05:10:26
180
原创 第16章 Gradio应用拓展为Discord Bot、Slack Bot和Website Widget(1)——项目十四:Gradio应用拓展为Discord Bot
为了拓展Gradio应用的使用范围,可以将Gradio应用部署到其他平台或嵌入到网站中。本章详细描述了三种拓展方式:Discord Bot、Slack Bot和Website Widget,分别讲述了各自的工作原理与前置条件、如何创建平台应用、编写机器人代码、将机器人安装到服务器并进行对话操作。这三个平台各有特色,Discord适合娱乐放松,Slack适合工作管理,而Website Widget适合网站开发,读者可根据实际情况选择。
2026-04-30 05:06:35
205
原创 第15章(2)——项目十三:使用Gradio MCP与Apps SDK构建ChatGPT应用——提亮图像
ChatGPT应用(🖇️[链接15-4])让用户能够在熟悉的聊天界面中,通过对话形式直接体验机器学习模型或其他应用。OpenAI已发布Apps SDK(🖇️[链接15-5])供开发者构建完整的应用程序,但借助Gradio MCP服务器,开发者可以基于Gradio极为快速地搭建ChatGPT应用。另外,Gradio内置的分享链接让构建ChatGPT应用极为便利。
2026-04-30 03:28:20
414
原创 第15章 MCP高级功能与编码实现(1)——项目十二:构建代码形式的MCP客户端——生成图像
本章本片讲述MCP的高级功能,并编码实现MCP的服务器和客户端。首先讲述MCP服务器的高级功能身份凭证、进度更新与定制化工具;然后练习如何创建MCP资源、提示模板与纯MCP工具;接着使用代码实现多应用的FastMCP服务器并排查MCP服务器开发中的Bug;第四构建代码形式的使用stdio_client连接的MCP客户端;最后,使用Gradio与Apps SDK构建ChatGPT应用。
2026-04-30 03:27:02
364
原创 第14章 由Gradio构建MCP服务器与客户端—— 项目十一:MCP客户端配置Gradio文档的MCP服务器
MCP在当前人工智能领域大热,它是LLM打通最后一公里的连接标准,是LLM使用各类工具的粘合剂。本章将使用Gradio构建配置形式的MCP服务器与客户端,首先介绍MCP协议细节,包括MCP协议概念与架构组件、MCP功能协商与消息规范、MCP的传输层标准Stdio与Streamable HTTP。然后讲述本章重点:由Gradio应用的配置构建MCP服务器示例及其关键特性,MCP客户端的配置方法及示例。
2026-04-30 01:58:50
403
原创 第12章(3)——项目十:使用StreamHandler+GenAI+Gemini构建实时音频+视频艺术评论家
作为对本章知识的总结,本节将实现一个综合演示:让Gemini扮演艺术评论家,对用户通过FastRTC上传的艺术作品进行点评。
2026-04-30 01:09:04
610
原创 第12章(2)——项目九:基于gr.Video+RT-DETR的流目标检测
在使用gr.Video+RT-DETR模型构建视频流目标检测系统之前,先了解下RT-DETR模型。先讲解模型的技术与架构,然后着眼于训练细节与性能表现,接着介绍其最新版本RT-DETRv2,最后通过图像目标识别示例演示其用法及列出下一步的学习资源。本节使用RT-DETR对用户上传视频进行实时目标检测,并借助Gradio视频流功能实现检测结果的实时传输。
2026-04-30 01:03:13
531
原创 第12章Streaming(下):视频应用(1)——项目八:基于WebRTC+YOLO的实时目标检测
本章讲述流式传输的视频应用,主要包括三个示例:基于WebRTC+YOLO的实时目标检测、使用RT-DETR模型构建视频流目标检测系统、使用FastRTC+Gemini创建实时沉浸式音频+视频的艺术评论家,使用三个不同的模型,由浅入深实现视频目标检测、视频流传输、音频+视频结合应用。此外,本章用到的其他技术讲解包括:YOLO系列视频检测模型,实时端到端检测模型RT-DETR,多模态模型Gemini简介及入门实战,以及为结合音视频的Gemini Live API实时连接。
2026-04-30 00:37:55
656
原创 第13章 集成代理:Langchain和Transformers
本章讲述Gradio如何集成代理,包括两种智能体:LangChain Agent和Transformers Agent,先概述两者的概念和构建流程后,再介绍如何集成到Gradio应用。因为Agent作为连接各大模型和工具的桥梁,是打通人工通用智能(AGI)的最后一公里,对从业者和人工智能行业都是至关重要的一环,所以本章重点放在智能体的原理及应用步骤拆解,最后引入Smolagents示例作为对比
2026-04-30 00:27:00
433
原创 第11章(2)——项目七:AI电话——由Twilio拨打和接听智能电话
介绍Python实时通信库FastRTC,内容包括WebRTC协议、FastRTC的内置功能与自定义路由、核心特性Stream的构造参数及运行方式、配置连接TURN服务器等。接着介绍如何通过Twilio连接TURN服务器,内容包括STUN、ICE与Twillo关系、Twilio的网络穿透服务。最后通过实现AI通话——通过Twilio接入Stream拨打和接听智能电话,内容主要有通过Ngrok获取URL与配置TwiML App,并由Twilio实现电话外呼与接入。本章内容有较高的实用价值,读者可灵活应用于生产
2026-04-29 20:36:12
78
原创 第11章 Streaming(中):高级音频应用(1)——项目六:语音克隆、变声器与文本转录器
本章是音频的高级应用,首先介绍专业语音大模型ElevenLabs,并与Gradio结合实现语音克隆、语音变声器与文本转录器。
2026-04-29 20:31:34
250
原创 第10章(3)——项目五:Mistral与Parler-TTS实现魔力8号球
在学习更高级聊天机器人示例之前,需要先学习两个知识点:HF Inference和ZeroGPU Spaces。并由Mistral与Parler-TTS实现魔力8号球。
2026-04-29 05:05:08
376
原创 第10章(2)——项目四:基于ONNX-Runtime、VAD-WEB和Groq的卡路里助手
目前多数语音应用程序的工作方式是单击录制后说话,虽然很有效,但与语音交互最自然的方式是应用程序动态检测用户何时在说话,以便用户无需单击录制即可双向对话。现代语音应用应当突破传统的"单击录音"模式,Gradio通过在ONNX 环境运行VAD(Voice Activity Detection:语音活动检测),实现自动检测语音,再结合Whisper语音转录和Groq模型库的高速推理,可以获取动态且低延迟的响应,从而构建语音与文本更直观的交互模式——用户只需随时说话,即可与AI进行交互。
2026-04-29 05:00:48
605
原创 第10章 Streaming(上):初级音频应用(1)——项目三:自建服务器的Mini-Omni实时语音聊天机器人
本章音频应用部分包括自动语音识别技术(ASR),自建服务器的Mini-Omni模型的对话式聊天机器人,Groq与带自动语音检测功能的多模态Gradio应用,Mistral实现流式传输音频的魔力8号球。除了拆解音频应用,还会详细介绍并实战大模型库Whisper、Mini-Omni、Groq和Mistral。此外,本章还会详细讲解用到的其他技术:@ricky0123/vad-web实现语音活动检测功能,Groq高速大模型调用库,LiteLLM,AI-SDK,HF Inference,Spaces ZeroGPU
2026-04-29 04:55:50
741
原创 第9章 数据科学与绘图
首先讲解组件的构造参数,包括绘图和事件监听器构造参数;然后介绍如何利用绘图组件如gr.LinePlot、gr.ScatterPlot和gr.BarPlot,进行常规绘图,包括数据帧绘图、颜色设置与聚合数值,选择区域操作及交互式操作;接着讲述日期时间类绘图,包括datetime类绘图、时间聚合、gr.Datatime、DateTimeRange和实时更新;最后讲解其他应用场景,包括过滤数据、统计运算、gr.DataFrame展示数据帧、与数据库连接并查询数据等。
2026-04-29 03:05:37
366
原创 第8章(2)——项目二:Claude与显示思考——引用资料
gr.Chatbot组件支持参数metadata,因此可以原生支持显示中间思考过程,呈现使用工具和资料引用情况,这非常适合为LLM Agent和CoT(Chain-of-Thought, 思维链)演示创建UI。本节先通过一个简单示例展示如何呈现使用工具,然后通过一个项目展示如何使用gr.Chatbot构建显示思考中的资料引用。
2026-04-29 01:53:09
415
原创 第8章 gr.ChatInterface和gr.Chatbot:聊天界面与聊天机器人(1)
根据侧重点不同将本章内容划分为两部分:第一部分使用gr.ChatInterface直观简便的创建聊天机器人,包括构造参数,常规用法、多模态应用和其他高级功能,高级功能包括预设回复、显示思考过程、设置聊天内容聊天历史和用户反馈、与流行LLM库及API结合。第二部分通过gr.Chatbot构建自定义的聊天机器人,内容包括组件gr.Chatbot及辅助类gr.ChatMessage、gr.MetadataDict、gr.OptionDict的构造参数,支持的特殊事件监听器,显示思考使用工具和引用资料。
2026-04-29 01:51:33
195
原创 第7章(2)—— 项目一:Google OAuth授权登录
OAuth授权登录通常有两种形式:Hugging Face OAuth或外部供应商授权,外部供应商以Google Oauth举例。
2026-04-29 00:18:10
153
原创 第7章 gr.Interface与gr.Blocks的高级特性(1)
本章介绍gr.Interface与gr.Blocks的附加特性,这些特性辅助二者实现更绚丽界面和更多样功能。主要内容包括队列与批处理函数,输入输出流,用户交互,定制主题,多页面方案与国际化支持,应用分享方法(PWA、SDL与网页嵌入),OAuth授权登录与安全访问文件、三种资源清理方法。每部分都包含大量内容和细节,极大拓展了gr.Interface与gr.Blocks的应用范围。
2026-04-29 00:14:37
382
原创 第6章 gr.Blocks:底层区块类
本章介绍Gradio的底层区块类gr.Blocks,可实现界面的定制化功能,先详解gr.Blocks的构造参数和成员函数;然后进行实践,内容包括基础操作、高级特性、控制布局、动态重渲染、定制CSS和JS、使用gr.HTML创建自定义组件及将gr.Blocks应用作为函数。其中基础操作有输入输出中的List和Dict,组件配置、保留值与事件监听器,状态和三种绑定方式。高级特性包含示例、gr.Timer定时执行事件、收集事件数据及输入验证。
2026-04-28 22:26:16
169
原创 第5章 gr.Interface:抽象界面类
本章介绍Gradio的抽象界面类:gr.Interface,它非常简单易用,可通过几行代码启动一个功能界面,是Gradio最基础的类。本章先介绍gr.Interface类的构造参数和成员函数,然后进行实践。实践分为基础演示和高级演示,基础演示包括不同数量的输入输出组件和参数、折叠型附加输入、多模态输入输出、全局状态与会话状态;高级类演示包括实时刷新与流模式、标记数值或文件数据、示例详解。通过本章学习,读者可掌握gr.Interface类的常用功能,并可通过它开发高级Gradio应用。
2026-04-28 21:21:37
180
原创 第4章 Gradio库的模块架构和环境变量
本章以Gradio库版本6.10.0为参考,介绍Gradio的各个模块和环境变量,不同版本的模块组件及环境变量会稍稍不同。内容:Gradio库的模块架构,包括构建演示模块、块布局模块、组件模块、帮助模块、情态模块及路由模块;环境变量,在了解其设置方法后,列表详述各个环境变量的设置、默认值和作用描述。另外在组件模块中,介绍了组件预处理和后处理,方便读者理解Gradio背后运行原理。读者可在本章学习并查询Gradio应用的所有模块、组件、成员函数和各类参数,方便在以后开发时查找,起到Gradio字典的作用。
2026-04-28 16:50:39
202
原创 第3章(3)——使用cURL查询Gradio应用
cURL是多数操作系统上预安装的命令行工具,它可以将任意Gradio应用作为API使用,本节将详述cURL查询Gradio应用的用法。
2026-04-28 16:16:10
339
原创 第3章(2)——使用Gradio JavaScript Client
JavaScript Client非常易于将任意Gradio应用程序用作API,由于Python Client部分已经讲述了大部分Gradio应用的代码原理,因此本节不再重复解释,而是将对应Python命令替换为JavaScript方式,以减少篇幅。
2026-04-28 16:13:44
445
原创 第3章 三类客户端:Python Client、JavaScript Client与Curl Client(1)——使用Gradio Python Client
Gradio应用部署完成后,如何将它作为API使用呢?这就用到Gradio Client,它向应用提交各类请求后,应用返回相应结果。本章讲解三类客户端:Python Client、JavaScript Client与Curl Client。这三类客户端都包含以下内容:安装方式,通过URL或Space ID连接Gradio应用,查看Gradio应用可用API方法:view_api()和页面查看,以及使用API方法:直接调用.predict()和异步调用job。
2026-04-28 16:09:25
340
原创 第2章 三类开发工具及三种部署方式(1)——本地智能IDE工具:Cursor与在线运行环境:ColabNotebook
工欲善其事,必先利其器。在开始编码之前,先学习使用智能IDE工具Cursor。Cursor是一款基于人工智能技术的代码编辑工具,作为VS Code的衍生版本,它在继承优势的基础上,全面融入AI功能,可根据用户的输入或需求,自动生成高质量代码,极大简化了软件开发工作流和编程过程。该工具支持多种编程语言,包括Python、Java、C#、JavaScript等,可在Linux、MacOS和Windows等多种操作系统上运行。
2026-04-28 14:43:25
522
原创 第2章(3)——Gradio三类部署方式
本节开始介绍三种常用的部署方式。第一种方法launch()将启动一个简单的Web服务器演示应用,执行成功后返回三个值:①App,为Gradio演示提供支持的FastAPI应用程序;②local_url,应用本地访问地址;③share_url,可选公开访问地址,当share=True时生成。launch()可接受多个部署参数,下面分别演示。
2026-04-28 14:40:06
417
原创 第2章(2)——Python包工具:uv与uvx实战
pip是最常用的Python包管理工具,但现在出现了一个速度更快,功能更全面强大,而且被广泛用在AI MCP管理中的包工具,那就是uv。而uvx是uv的包执行命令,下面将分别讲解并实战。
2026-04-28 14:36:09
626
原创 第1章 Gradio简介:大模型WebUI框架
Gradio是专为大模型开发的Web界面简易框架,本章首先介绍Gradio的基本概念、与其他框架NiceGui、StreamLit、Dash和PyWebIO的区别、新版Gradio特性以及关于Gradio网站访问,然后详述Gradio的安装与运行方式。本章将引导读者了解Gradio基本概念,并实现本地安装与运行。
2026-04-26 20:26:47
500
原创 Gradio全解与多模态大模型应用——前言+目录
本书结合Gradio讲解多模态大模型应用。Gradio是适用于大模型的网页开发工具,是最大人工智能开源社区Hugging Face和魔塔发布应用的首选WebUI框架,可以使用各类人工智能模型、Python函数或各类API开发多功能界面,非常易于展示大语言模型及扩散模型。多模态大模型随着算力和算法成熟也逐渐走入生产和娱乐中,本书将分音频+视频介绍各类大模型及应用技术,并配以语音检测及克隆、AI电话、艺术评论家等项目,包括大量多模态大模型及相关技术
2026-04-25 13:00:15
559
原创 Gradio全解14——使用Gradio构建MCP的服务器与客户端(4)——Python包命令:uv与uvx实战
pip是最常用的Python包管理工具,但现在出现了一个速度更快,功能更全面强大,而且被广泛用在AI MCP管理中的包工具,那就是uv。而uvx是uv的包执行命令,下面将分别讲解并实战。
2025-10-24 22:56:48
1431
原创 Gradio全解11——Streaming:流式传输的视频应用(9)——使用FastRTC+Gemini创建沉浸式音频+视频的艺术评论家
作为对本章知识的总结,本节将实现一个综合演示:让Gemini扮演艺术评论家,对用户通过FastRTC上传的艺术作品进行点评。本节内容包括准备工作及音频图像编码器、实现Gemini音视频处理程序使用gr.Blocks替换Stream.ui。
2025-09-11 10:21:38
1673
原创 Gradio全解11——Streaming:流式传输的视频应用(8)——Gemini Live API:实时音视频连接
本节介绍Gemini Live API实时音视频连接,内容包括Live API入门讲解和Live API - WebSockets API详解。Live API入门介绍内容包括Live API技术与功能介绍、选择音频生成架构和实施方案、异步发送并接受音频示例、第三方集成应用与下一步学习建议。Live API底层使用的是WebSockets进行连接。WebSockets API详解将介绍WebSockets API概念及功能、Live API连接时的会话配置、发送与接收操作及消息类型。
2025-09-11 10:20:05
1417
原创 Gradio全解11——Streaming:流式传输的视频应用(7)——多模态Gemini模型及其思考模式
在使用FastRTC+Gemini创建实时沉浸式音频+视频演示之前,先了解下Gemini模型和它的Live API。本节先介绍Gemini模型,内容包括Gemini系列模型介绍、思考预算和思路总结的thinking模式示例。
2025-09-10 14:20:49
1462
原创 Gradio全解11——Streaming:流式传输的视频应用(5)——RT-DETR:实时端到端检测模型
在使用RT-DETR模型构建视频流目标检测系统之前,先了解下RT-DETR模型。先讲解模型的技术与架构,然后着眼于训练细节与性能表现,接着介绍其最新版本RT-DETRv2,之后通过图像目标识别示例演示其用法,最后列出下一步的学习资源。
2025-09-10 14:20:18
1268
原创 Gradio全解11——Streaming:流式传输的视频应用(3)——YOLO系列模型技术架构与实战
近年来,YOLO系列因其在计算成本与检测性能之间的有效平衡,已成为实时目标检测领域的主导技术。本节将介绍YOLO系列最流行的两个模型:YOLOv10和YOLOE,讲解技术架构并进行实战,方便读者了解著名的YOLO系列模型较新版本的区别和优势。
2025-09-09 17:12:22
1237
原创 Gradio全解11——Streaming:流式传输的视频应用(2)——Twilio:网络服务提供商
本节先讲解Twillo与TURN服务器概念,然后进行Twilio网络穿透服务实战,包括通过Twilio建立连接和使用Twilio拨打外呼电话。
2025-09-09 16:53:56
1151
原创 Gradio全解11——Streaming:流式传输的视频应用(1)——FastRTC:Python实时通信库
本章讲述流式传输的视频应用,应用部分包括三部分:基于Gradio.WebRTC+YOLO的实时目标检测,使用RT-DETR模型构建视频流目标检测系统,以及使用FastRTC+Gemini创建实时沉浸式音频+视频的艺术评论家。此外,用到的技术部分分为独立的六节讲解:Python实时通信库FastRTC,网络服务提供商Twilio,YOLO系列模型技术架构与实战,实时端到端检测模型RT-DETR、Gemini模型简介及入门实战,以及为更复杂的结合音视频的Gemini Live API实时连接。
2025-09-09 00:04:59
1514
原创 Gradio全解10——Streaming:流式传输的音频应用(7)——ElevenLabs:高级智能语音技术
本节引入ElevenLabs智能语音技术,作为更专业的语音、音频和音乐工具,后边视频应用中将用到它。它不仅能无缝替换之前的语音转换工具,还能实现更丰富复杂的语音功能;它不仅能拓展开发者的工具库,还能产生更逼真的语音甚至优美的音乐。本节内容包括ElevenLabs的核心功能与产品讲解,其旗下Eleven系列语音大模型的介绍,以及文本转语音API、语音转文本API及音乐API的使用。
2025-09-08 21:15:53
1943
【语音处理与AI聊天】基于Groq和Llama模型的音频转录及营养成分估算对话系统实现
2025-05-05
Gradio-Tools+LLM-Agents
2024-11-04
四元数插值方法SlerpSquadSpicvSping知识总结思维导图.xmind
2021-06-25
四元数插值绘图论文原始代码
2021-03-06
rigidMotion.zip
2020-03-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅