- 博客(198)
- 资源 (11)
- 问答 (1)
- 收藏
- 关注
原创 activiti系列文章
系列文章目录提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加例如:第一章 Python 机器学习入门之pandas的使用提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录系列文章目录 前言 一、pandas是什么? 二、使用步骤 1.引入库 2.读入数据 总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习..
2021-06-06 12:04:22
2149
3
原创 【3】jupyter单元格Cell操作
Jupyter Notebook 核心功能解析:单元格类型分为代码、Markdown和原始文本三种,支持代码执行、富文本编辑和格式保留。提供两种操作模式(命令/编辑)及高效快捷键,如运行单元格(Shift+Enter)、类型转换(Y/M)等。特色功能包括魔法命令(%timeit、%%bash等)、Shell命令执行(!前缀)和丰富的媒体内容嵌入(图片、视频、公式)。通过快捷键H可查看帮助,%lsmagic列出所有魔法命令,实现高效交互式编程体验。
2026-04-15 18:35:29
613
原创 【2】jupyter lab切换anaconda虚拟环境配置说明
本文介绍了在Linux系统中使用单个Jupyter实例管理多个Anaconda虚拟环境的方法。通过IPyKernel实现内核切换,只需在基础环境(base)安装JupyterLab,在其他虚拟环境安装ipykernel并注册内核即可。文中包含技术架构图和数据流时序图,展示了Jupyter、IPyKernel与IPython的协作关系。详细步骤包括:虚拟环境创建、内核注册、工作路径修改及外网访问配置等。关键点在于保持Jupyter主程序独立安装,通过内核协议实现多环境切换,避免了重复安装Jupyter带来的资
2026-04-15 16:50:55
538
原创 OpenWebUI(20)源码学习-版本升级
本文介绍了OpenWebUI的升级流程及数据备份方法。主要内容包括:1)首次安装时数据存储在Docker卷中;2)升级前需备份/open-webui卷数据;3)升级步骤(停止旧容器、拉取新镜像、启动新容器);4)验证升级结果;5)提供升级失败时回退方案。强调升级过程数据安全,确保新容器使用原有数据卷配置,并给出完整备份和恢复命令。
2026-04-13 15:20:42
719
原创 (九)docker命令—V两种挂载方式
Docker数据持久化的两种挂载方式对比:命名卷(-v 卷名:路径)由Docker自动管理,适合生产环境;绑定挂载(-v 宿主机路径:路径)直接映射主机目录,适合开发测试。命名卷数据存储在/var/lib/docker/volumes/下,可通过docker volume inspect查看具体位置。命名卷更安全易管理,绑定挂载更透明直接,用户可根据场景需求选择适合的方式。
2026-04-13 14:54:31
306
原创 【八】docker私有化镜像仓库部署
本文介绍了如何部署带HTTP认证的Docker私有镜像仓库。主要内容包括:1) 使用htpasswd工具创建认证文件;2) 通过docker-compose编排文件部署Registry服务(5000端口)和UI界面(8888端口);3) 客户端配置insecure-registries以支持HTTP访问;4) 镜像操作指南(登录、推送、拉取)。部署方案采用Registry 2.8.2和joxit/docker-registry-ui镜像,支持镜像删除功能,并通过环境变量配置认证信息。文中提供了完整的配置示例
2026-04-10 17:43:43
370
原创 vLLM(3)vllm在线启动集成openweb-ui
本文介绍了如何将高性能LLM推理服务vLLM集成到Open WebUI中的详细步骤。首先需要启动vLLM服务,提供OpenAI兼容API接口(端口9898),支持命令行和Docker两种启动方式。然后配置Open WebUI连接vLLM API,可通过修改环境变量或使用docker-compose部署。最后在Open WebUI界面添加模型并验证连接。文章还提供了常见问题解决方法及性能优化建议,如批处理、量化和多GPU加速等,帮助用户实现vLLM与Open WebUI的无缝集成。
2025-07-30 16:14:59
1590
原创 vLLM(2)私有化安装cuda之libcuda.so找不到问题
本文记录了在A100 4卡服务器上部署vLLM框架时遇到的libcuda.so缺失问题的解决过程。关键点包括:1)确认CUDA 12.8环境和驱动安装;2)分析发现libcuda.so位于/usr/lib/x86_64-linux-gnu/而非CUDA安装目录;3)通过修改LD_LIBRARY_PATH环境变量、创建符号链接和更新ldconfig成功解决问题;4)最终实现Qwen3-0_6B模型在双卡并行下的成功加载。该方案为类似环境下的vLLM部署提供了有效的参考路径。
2025-07-30 14:48:00
1730
原创 vLLM(1)私有化安装部署配置
vLLM是目前主流的大模型部署框架之一,以其高效的内存管理、持续批处理和张量并行性在企业生产环境中表现突出。该框架通过PagedAttention算法优化KV缓存管理,支持GPU加速和连续批处理,并内置API安全验证功能,同时兼容HuggingFace模型和OpenAI接口。安装过程需创建Python 3.12虚拟环境后直接pip安装即可。后续将重点介绍其多模态应用场景。
2025-07-25 11:39:23
604
原创 Ollama(5)服务接口压力测试
本文探讨了企业级Ollama模型服务的性能评估方法。文章首先介绍了企业级应用需要考虑的响应速度、稳定性等关键指标,并对比了Ollama的两种启动方式:手动启动(ollamaserve)适合调试,而systemd服务管理更适合生产环境。重点阐述了压力测试方案,包括测试指标设定、环境配置和代码参数说明,通过REST API接口模拟真实场景,评估系统吞吐量和并发能力。测试结果显示,在4张NVIDIA A10显卡配置下,并发10次请求时平均响应时间17秒,吞吐量达158.06 tokens/s。值得注意的是,测试发
2025-07-24 18:01:14
1603
1
原创 Ollama(4)模型生命周期
keep_alive 在工程化的项目中,往往需要根据请求的频率来设置,如果请求不频繁,可以使用默认值或较短的时间,以便在不使用时释放内存。而如果应用程序需要频繁调用模型,可以设置较长的keep_alive 时间,以减少加载时间。很关键,非常影响服务器的性能和应用程序的用户体验。大家一定要注意。
2025-07-24 09:00:00
1382
原创 Ollama(3)模型迁移和API使用
摘要:本文介绍了Ollama模型迁移方法和REST API使用指南。第一部分详细说明模型迁移步骤,重点解析了blobs和manifests文件夹的作用及迁移方法,包括在线下载和离线传输两种方式。第二部分重点讲解Ollama的REST API接口,特别是/api/generate接口的参数配置和使用方法,详细解释了num_ctx、num_predict等关键参数的含义及对模型性能的影响,并提供了Python调用示例和响应参数解析。文章为使用Ollama框架进行大模型本地部署和交互提供了实用技术指导。(149字
2025-07-23 16:00:40
1253
原创 Ollama(2)安装配置GPU运行
Ollama是在Github上的一个开源项目,其项目定位是:一个本地运行大模型的集成框架,目前主要针对主流的LLaMA架构的开源大模型设计,通过将模型权重、配置文件和必要数据封装进由Modelfile定义的包中,从而实现大模型的下载、启动和本地运行的自动化部署及推理流程。此外,Ollama内置了一系列针对大模型运行和推理的优化策略,目前作为一个非常热门的大模型托管平台,基本主流的大模型应用开发框架如LangChain、AutoGen、Microsoft GraphRAG及热门项目AnythingLLM、Op
2025-07-23 13:02:28
1767
原创 OpenAI API(2) OpenAI Responses API使用
Responses API 是 OpenAI 为智能代理(Agents)提供的全新 API 基础构件,它结合了 ChatCompletions API 的简洁性 与 Assistants API 的内置工具能力,使得代理能够更智能地执行任务。
2025-07-21 15:48:29
2146
原创 OpenAI API(1)补全Responses(Chat Completions)API和记忆Assistants API对比分析
摘要: Chat Completions API与Assistants API的核心差异在于状态管理、文件处理、工具调用等方面。Chat Completions API无状态,需手动维护上下文,适合简单对话任务,延迟低且按Token计费;而Assistants API自动管理对话线程,支持文件解析和内置工具(如代码解释器),适合复杂任务,但延迟较高且可能产生额外费用。选择依据包括是否需要文件处理、多轮对话记忆或预算限制。轻量级交互推荐Chat Completions API,复杂任务则优先Assistant
2025-07-21 14:24:02
1341
原创 OpenWebUI(1)图像集成——deepseek+comfyUI文生图搭建
openwebui+deepseek+comfyUI搭建文生图效果
2025-07-17 09:00:00
1367
原创 OpenWebUI(18)源码学习-其他根目录下文件说明
总结:该项目包含多个关键配置文件,用于规范开发流程和环境管理。主要配置包括: 代码格式化:.prettierrc定义前端代码格式化规则,.prettierignore指定忽略文件 构建配置:.dockerignore控制Docker镜像内容,hatch_build.py实现Python包构建自动化 代码质量:.eslintrc.cjs设置代码规范,.eslintignore指定忽略检查的文件 版本控制:.gitignore和.gitattributes管理Git行为 环境管理:.env.example提供环
2025-07-16 09:00:00
1049
原创 OpenWebUI(19)源码学习-yaml和sh脚本文件说明
本文介绍了Open WebUI项目中的多个Docker配置文件及其功能: docker-compose.yaml:基础服务配置,包含Open WebUI和Ollama的核心定义,支持端口映射、卷挂载等基础功能。 docker-compose.gpu.yaml:为NVIDIA GPU提供加速支持,可指定GPU数量。 docker-compose.data.yaml:实现Ollama模型数据的本地持久化存储。 docker-compose.api.yaml:开放Ollama API接口供外部访问。 docker
2025-07-16 09:00:00
1422
原创 OpenWebUI(15)源码学习-后端tasks.py异步任务管理模块
📌 任务管理模块 (tasks.py) 该文件是Open WebUI的异步任务管理核心,主要功能包括: 1️⃣ 异步任务管理 通过create_task()创建任务并绑定唯一ID 自动清理已完成任务(cleanup_task回调) 支持按ID或chat_id查询任务 2️⃣ 任务控制 stop_task()安全终止任务 list_tasks()监控所有活跃任务 支持按chat_id批量管理任务 3️⃣ 应用场景 用户取消聊天请求 会话结束时的任务清理 系统任务监控与调试 采用全局字典存储任务对象,结合as
2025-07-15 10:00:00
1130
原创 OpenWebUI(17)源码学习-前端src目录模块
该项目采用的技术栈,具有良好的模块化设计和国际化的支持。主要功能模块分布在lib目录下,涵盖了 API 调用、UI 组件、状态管理、工具函数等。此外,还利用了 Web Worker 和 Pyodide 来增强前端性能和功能扩展性。define: {功能说明✅ 启动 SvelteKit 支持支持 SvelteKit 的 SSR、客户端路由等特性✅ WASM 资源复制将 ONNX Runtime 的 WASM 文件复制到构建目录✅ 全局常量注入注入和到代码中✅ Sourcemap 生成。
2025-07-15 09:00:00
7605
原创 OpenWebUI(14)源码学习-后端functions.py函数调用文件
Open WebUI的核心功能模块functions.py详解 该文件是Open WebUI后端的关键模块,主要负责AI管道系统的核心功能实现。主要功能包括: 函数管道管理:支持动态加载和执行插件化函数模块,包括同步/异步调用方式 模型交互:提供与AI模型的完整交互流程,从参数绑定到结果生成 流式处理:支持实时流式输出,采用SSE协议实现逐字显示效果 工具集成:可调用外部工具或插件,并自动注入所需参数 事件通知:内置事件发射机制,支持实时状态更新和进度反馈 格式兼容:将内部处理结果转换为标准OpenAI A
2025-07-14 10:00:00
1369
原创 OpenWebUI(13)源码学习-后端env.py环境配置初始化文件
摘要(147字) env.py是Open WebUI的核心环境配置文件,主要功能包括:1)加载.env环境变量;2)自动检测设备类型(CPU/GPU/MPS)优化AI性能;3)配置多模块日志系统;4)管理版本信息与变更日志;5)定义关键路径(数据目录/静态资源);6)支持SQLite/PostgreSQL数据库连接;7)设置Redis缓存;8)配置认证安全策略。该文件在服务启动时优先加载,为系统提供基础运行环境和关键参数配置,支持高级功能如审计日志和OpenTelemetry监控。
2025-07-14 09:30:00
1445
原创 OpenWebUI(12)源码学习-后端constants.py常量定义文件
constants.py是Open WebUI的常量定义文件,集中管理系统提示消息、错误信息和任务类型。主要包含四类枚举:MESSAGES(成功操作提示)、WEBHOOK_MESSAGES(Webhook通知)、ERROR_MESSAGES(各类错误提示)和TASKS(任务类型标识)。该设计实现消息统一管理,支持多语言扩展,提升代码可维护性,典型应用包括模型操作反馈(如"Model added successfully")、用户注册通知、错误处理(如"Invalid crede
2025-07-11 09:15:00
1147
原创 OpenWebUI(11)源码学习-后端config.py配置文件
config.py是Open WebUI项目的核心配置文件,负责管理系统全局设置。主要功能包括:1) 初始化数据库迁移,确保数据结构一致性;2) 通过PersistentConfig类实现环境变量与数据库配置的灵活管理;3) 支持多种OAuth提供商登录配置;4) 细粒度用户权限控制;5) RAG模块参数配置(嵌入模型、分块大小等);6) 图像生成功能设置。该文件采用环境变量优先、数据库存储备用的配置策略,为系统提供统一、可持久化的配置管理接口。
2025-07-11 09:00:00
1585
原创 OpenWebUI(16)源码学习-后端main.py项目的主入口文件
这是整个 **Open WebUI 项目的主入口文件**,负责以下关键任务:1. **初始化 FastAPI 应用**2. **加载配置、中间件、路由**3. **管理模型与工具的注册**4. **处理聊天完成、任务控制等核心功能**5. **集成认证、审计日志、WebSocket 等系统组件**这个文件是整个项目的核心调度中枢,决定了系统的启动流程、全局状态、接口结构和运行逻辑。
2025-07-10 10:44:34
1327
原创 OpenWebUI(8)源码学习-后端utils/telemetry追踪遥测模块
Open WebUI项目的telemetry模块基于OpenTelemetry实现分布式追踪功能,提供系统运行状态的可观测性支持。该模块包含四个核心文件:constants.py定义统一Span属性,exporters.py实现异步Span导出,instrumentors.py对FastAPI、数据库、Redis等组件进行插桩追踪,setup.py提供系统初始化入口。该架构支持HTTP请求、数据库操作、Redis调用和第三方API的链路追踪,通过统一字段命名和异步导出机制提升系统监控能力,可对接Jaeger
2025-07-10 10:00:00
1223
原创 OpenWebUI(9)源码学习-后端utils常用特定功能模块
该项目包含20个功能模块文件,涵盖权限控制、审计日志、用户认证、聊天功能、代码执行等核心功能。主要模块包括:access_control.py处理用户权限,audit.py管理审计日志,auth.py负责认证机制,chat.py实现聊天功能,code_interpreter.py提供代码执行环境。此外还包含PDF生成、插件加载、Redis连接、安全防护、任务处理等辅助功能模块。系统采用FastAPI框架,支持JWT/OAuth认证,兼容OpenAI/Ollama格式转换,并集成了Slack等平台的Webho
2025-07-10 09:30:00
517
原创 OpenWebUI(10)源码学习-后端alembic.ini数据库迁移配置文件
摘要: alembic.ini 是用于 SQLAlchemy 数据库迁移工具 Alembic 的配置文件,主要功能包括: 脚本管理:定义迁移脚本路径(migrations)、文件名模板(支持时间戳)及多版本目录。 环境配置:设置 Python 路径、时区(可选)和文件编码(UTF-8)。 自动化处理:支持生成后自动格式化(如 black)或语法检查(如 ruff)。 日志控制:配置日志级别和输出格式。 扩展性:通过 sqlalchemy.url 可指定数据库连接。 该文件是数据库版本控制的核心,确保迁移脚本
2025-07-10 09:30:00
1014
原创 OpenWebUI(7)源码学习-后端utils/images/comfyui.py文生图模块
摘要:comfyui.py是Open WebUI项目中连接ComfyUI图像生成系统的核心模块,通过WebSocket实现实时交互。它提供标准化的参数输入接口(支持提示词、尺寸、批量生成等),动态注入工作流节点参数,并返回生成图像的URL列表。模块采用异步架构,内置完善的错误处理,支持自定义workflow扩展。典型应用包括文本转图像、批量生成等场景,为前端提供统一的AI图像生成服务接口。
2025-07-09 10:00:00
1555
原创 OpenWebUI(6)源码学习-后端storage文件存储管理模块
摘要 Open WebUI的存储管理模块provider.py提供了统一的文件存储接口,支持本地磁盘、Amazon S3、Google Cloud Storage和Azure Blob Storage等多种后端。该模块定义了抽象类StorageProvider及其具体实现类,包含文件上传、下载、删除等核心方法。配置参数来自环境变量和系统配置,支持多种安全认证机制。该模块与文件管理、知识库构建等核心功能紧密集成,为Open WebUI提供灵活、安全的存储解决方案。
2025-07-09 09:30:00
953
原创 OpenWebUI(5)源码学习-后端socket通信模块
Open WebUI的WebSocket通信模块由main.py和utils.py构成,实现前后端实时交互功能。main.py提供Socket.IO服务,支持用户状态管理、模型监控、频道消息和聊天事件分发;utils.py提供Redis工具支持,包括分布式锁和数据结构封装。该模块支持单机和分布式部署,通过JWT进行安全认证,维护会话池、用户池和模型使用池,并定时清理过期连接。技术亮点包括实时通信、分布式支持、状态同步和事件驱动机制,为AI对话平台提供关键基础设施支撑。
2025-07-08 16:36:01
1204
原创 OpenWebUI(3)源码学习-后端models数据模型模块
本文介绍了项目中SQLAlchemy数据库模型的定义文件,包含18个主要模型文件。这些模型分别管理用户认证(auths.py)、聊天频道(channels.py)、对话记录(chats.py)、用户反馈(feedbacks.py)、文件管理(files.py)、文件夹结构(folders.py)等功能模块。所有模型继承自统一Base类,包含id、user_id、created_at等公共字段,支持与FastAPI的ORM集成。这些模型为项目提供数据库表结构定义,支持Alembic自动迁移,并与路由接口、数据
2025-07-07 18:42:52
1300
原创 OpenWebUI(2)源码学习-后端retrieval检索模块
本文介绍了AI对话系统中的一个检索模块目录结构及其功能。该模块主要包含数据加载器(如PDF/URL加载)、检索模型(如ColBERT)、向量数据库操作(支持Chroma/Elasticsearch等)和网络搜索(集成Bing/Brave等引擎)四个核心组件,为AI系统提供外部知识检索能力。通过统一的接口设计,模块实现了多源数据加载、语义向量检索和搜索结果重排序等功能,有效提升对话系统的知识获取效率。
2025-07-07 18:39:04
1496
原创 (5)aconda之.condarc文件配置
Anaconda环境配置与镜像源优化指南 本文详细介绍了.condarc文件的配置方法: 权限设置:Windows环境下需解锁Anaconda3安装目录的完全控制权限 文件配置:包含channels设置、镜像源替换(推荐清华源)、环境路径指定等关键参数 目录结构:解析了Anaconda的3个核心目录(pkgs、envs、site-packages)的作用 镜像优化:提供了通过命令和直接修改.condarc文件两种配置镜像源的方法 环境管理:包含虚拟环境创建、激活、导出、删除等常用命令 特别建议使用清华镜像源
2025-06-30 17:26:55
2767
原创 国内企业和教育机构镜像源镜像仓库
很多优秀的开源软件项目的安装包的托管平台(即软件源)都是在国外运营,在国内访问时网络质量和带宽不是很好。在“开源精神”的推动下,宣传自由软件的价值,提高自由软件社区文化氛围,国内很多企业和科研机构建立了免费开放的软件源镜像站,将国内的软件源同步到国内做镜像,以优化国内开发者更好的开源社区参与体验。
2025-06-30 16:10:16
460
原创 (七)Dockerfile文件20个命令大全详解
本文系统介绍了Dockerfile的20个核心指令及其用法,包括基础镜像构建(FROM)、命令执行(RUN/CMD/ENTRYPOINT)、文件操作(ADD/COPY)、环境配置(ENV/ARG/WORKDIR)以及容器健康检查(HEALTHCHECK)等。重点解析了多阶段构建、CMD与ENTRYPOINT的区别、变量传递机制(ARG/ENV)等关键概念,并提供了生产环境常用的最佳实践建议,如通过VOLUME管理数据、USER切换非root用户、SHELL设置等安全规范。全文以官方文档为基础,结合具体案例说
2025-06-26 14:57:19
1386
原创 windows下docker虚拟文件大C盘迁移D盘
Windows下Docker虚拟机文件迁移到D盘方法 首先关闭WSL:wsl --shutdown 查看当前安装的WSL系统:wsl --list -v 备份Docker虚拟文件到D盘: wsl --export docker-desktop D:\DockerData\docker-desktop.tar wsl --export docker-desktop-data D:\DockerData\docker-desktop-data.tar 注销原有系统: wsl --unregister docke
2025-06-21 18:40:08
861
2
c数据结构课程设计学生信息管理系统
2011-05-24
J2SE笔记讲解个人修订(1.1).docx
2021-05-28
J2EEweb讲解(个人修订1.2).doc
2021-05-28
Android studio gradle8.4离线下载 安装方法
2023-11-13
Android studio 插件gradle6.x.x系列安装包离线下载,gradle-wrapper.propert安装方法
2023-11-14
Android studio 插件gradle7.6.x系列安装包离线下载,gradle-wrapper.propert安装方法
2023-11-14
最完善的省市县区镇街sql语句city_code.sql
2019-06-11
基于地理位置的抢单怎么高效实现。 类似于打车软件用户下单,附近的司机抢单这类业务
2015-05-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅