- 博客(143)
- 收藏
- 关注
RSS订阅原创 智能体构建技术方案
📌【智能体构建最重要的文档】：所有智能体的层级结构、PE模板、代码示例、调用方法的全集链接，请点开查看：Sheet1- 模块清单：完成特定子任务的功能模块清单，包括模块输入、输出，代码示例等；Sheet2- 节点清单：实现大模型调用或工具执行的基本功能单元，包括节点输入、输出、PE模板等；Sheet3- 模型清单：适用于不同场景的推荐选用模型，包括参数量、地址、场景说明。智能体是一种能够感知环境并采取行动以实现特定目标的系统，具备规划、工具使用和环境交互等能力。按照智能体的自由度进行划分，可将其分为以下三
2025-12-05 16:02:08
988
原创 智能体开发框架选型
crew初始化时memory设置为True，当task的output被标记为finalized时，将Task的output文本向量化并追加写入到ChromaDB。② Session.state存储仅限当前特定持续对话相关临时数据的空间：个性化交互、跟踪任务进度、累积信息、做出明确决策。MsgHub的异步上下文管理器来简化消息广播，MsgHub中的智能体将自动接收其他参与者通过reply函数返回的消息。功能强大的reducer算子，通过类型注解绑定到State对应的字段，提供声明式的状态更新规则。
2025-12-05 14:59:54
577
原创 netstat 查看网络连接关联进程
netstat 查看进程的核心是关联网络连接与进程平台关联进程的核心命令关键参数Linux（监听端口）/ `sudo netstat -anpgrep ESTABLISHED`（已连接）macOS（显示PID）+（查进程名）-p（仅PID）Windows（PID）/（进程名，需管理员）-o（PID）、-b（进程名）ps -ef（所有进程）、top（实时进程）；tasklist（命令行）、任务管理器（图形界面）。
2025-12-05 14:42:02
885
原创 解决 UID/GID 映射不足导致的解压失败问题
1. 重置虚拟机 podman machine stop && podman machine rm -f && podman machine init --cpus 4 --memory 8192 && podman machine start # 2. 进入虚拟机并配置映射+拉取（一键执行） podman machine ssh "sudo -i <<'EOF'EOF"执行过程中会提示输入：仓库用户名；仓库密码；若最终输出或镜像信息，说明拉取成功。
2025-11-26 15:02:14
277
原创 Volcano：Kubernetes 生态的高性能批处理调度系统全解析
Volcano 是 K8s 生态中最成熟、功能最完备的批处理调度系统，其核心价值在于“让批处理任务在 K8s 集群中高效、有序、稳定执行”。它通过批处理专属调度算法、精细化资源管理、全生命周期任务管控，完美解决了 AI 训练、大数据计算、HPC 等场景的核心痛点。
2025-11-20 17:39:30
882
原创 五类存储产品（OSS/通用型NAS/极速型NAS/CPFS/智算CPFS）：全解析+优劣势对比
本质：以“对象”为基本存储单元（每个对象包含数据体、元信息、唯一Key），无传统文件系统的树形目录结构，通过S3/OSS API或HTTP/HTTPS访问，属于“无状态存储”。架构特点：分布式集群架构，数据分片存储在多个节点，元数据独立管理，支持无限横向扩展。核心优势扩展性无上限：支持从GB级扩容至EB级，按需付费，无容量瓶颈；成本极低：按实际存储量计费，无性能溢价，长期归档成本比文件存储低30%-50%；
2025-11-20 16:22:25
911
原创 CPU、GPU、PPU 三类芯片：详细解析、优劣势与核心区别
是计算机系统的核心，负责执行所有类型的通用计算任务，设计目标是“适配所有场景、高效处理复杂逻辑”，而非单一任务的极致性能。CPU 是“系统大脑”：统筹所有通用任务，是计算机运行的基础，核心价值是“通用与兼容”；GPU 是“并行算力引擎”：专攻大规模重复计算，核心价值是“极致并行与高吞吐”；PPU 是“专用工具人”：聚焦物理模拟或边缘 AI，核心价值是“专用场景的效率与功耗平衡”。
2025-11-20 16:17:34
1088
原创 手把手教你使用LlamaFactory训练意图识别模型
DPO强化学习数据核心在于chosen答案（正确答案）与rejected答案（错误答案），DPO过程中模型会拉大chosen答案与rejected答案的生成概率差距。意图识别训练需要构造QA（Question and Answer）对数据集，需要对已有的用户输入进行初步的意图标签的标注。通过业务规则或需求，定义模型需要识别的意图类型范围，以及每个类型的定义。对于在意图类型范围之外的，可归为闲聊类。训练过程中，系统会按照logging_steps的参数设置，定时输出训练日志，包含当前loss，训练进度等。
2025-11-20 14:19:12
641
原创 MoE-LoRA混合专家模型
MoE-LoRA通过“混合专家分工+低秩参数微调”的创新结合，在大模型优化中实现了“效率、性能、灵活性”的三角平衡。让中小团队也能以低成本实现大模型的多任务适配与能力扩展，无需依赖昂贵的全参数训练或超算资源。
2025-11-18 18:55:53
476
原创 详解DAPO
DAPO通过“双演员网络+直接偏好优化”的设计，在大模型对齐任务中实现了“更精准捕捉偏好、更稳定训练、更高样本效率”的平衡。让模型同时学习“应做什么”和“不应做什么”，从而更好地理解人类偏好的本质。随着大模型对对齐精度要求的提升，DAPO有望成为RLHF流程中的重要优化算法，尤其在复杂偏好场景中展现优势。
2025-11-18 18:51:20
335
原创 SFT冷启动
SFT冷启动的核心是在资源受限下，通过“小数据高质量构建+参数高效微调+快速迭代”，让预训练模型快速适配目标任务。其关键不是追求“一步到位”，而是通过种子数据建立初步任务认知，再基于评估结果逐步扩充数据、优化模型。对于新领域或数据稀缺场景，冷启动策略能显著降低微调门槛，为后续大规模优化奠定基础。
2025-11-18 18:49:25
433
原创 开源训练框架：VERL详解
VERL（视觉强化学习环境）是连接强化学习算法与真实视觉任务的关键桥梁，通过模拟高维视觉输入和多样化场景，为智能体提供了“练兵场”。降低视觉强化学习的实验门槛，推动算法在机器人、自动驾驶等依赖视觉感知的领域落地。
2025-11-18 16:00:38
488
原创 开源训练框架：MS-SWIFT详解
MS-SWIFT通过多尺度窗口划分和动态稀疏连接，在长序列处理中实现了“效率与精度”的平衡，解决了传统Transformer在超长输入场景下的计算和内存瓶颈。其核心价值在于：让大模型能够高效处理10万+token的长文本或多模态序列，同时保持接近全局注意力的性能，为长文档理解、视频分析等场景提供了关键技术支撑。
2025-11-18 15:52:43
938
原创 开源训练框架：LLaMA-Factory详解
LLaMA-Factory 凭借多模型兼容、低门槛、全流程支持的特点，成为大模型微调领域的主流工具之一，尤其适合中小团队和个人开发者快速落地定制化模型。将复杂的微调流程标准化、自动化，让开发者聚焦于数据质量和业务需求，而非底层技术实现。随着大模型技术的发展，LLaMA-Factory 正持续扩展对新模型（如 Llama 3、Qwen 2.0）和新技术（如 MoE 模型微调、长上下文适配）的支持，进一步降低大模型定制化的技术门槛。
2025-11-18 15:48:02
547
原创 vllm命令参数详解
内存管理技术，支持动态批处理（Dynamic Batching）、张量并行等特性，能显著提升大模型的推理吞吐量（Throughput）并降低延迟（Latency），广泛用于生产环境的大模型部署。是 vllm 框架提供的模型部署命令，用于将指定模型加载到 GPU 中，并启动一个支持 HTTP/RESTful API 的推理服务。vllm 是一款高性能的 LLM 推理框架，基于。指定模型推理时的数据类型为。
2025-11-17 19:23:48
1272
原创 mem0：一个专注于AI应用记忆管理的开源工具
mem0通过构建结构化、可管理的记忆系统，解决了LLM应用中“上下文有限、记忆碎片化”的核心痛点。它不仅能让AI“记住”关键信息，更能“智能地”提取、检索和更新记忆，从而在长对话、个性化服务场景中提供更连贯、贴合需求的体验。开箱即用的记忆管理能力（无需从零设计存储和检索逻辑）、与主流框架的无缝集成（降低接入成本）、可定制的记忆规则（适配不同业务场景）。
2025-11-13 17:02:46
384
原创 LangFuse使用实践：从集成到优化的全流程指南
LangFuse的核心价值在于通过“追踪-管理-评估”三位一体的功能，让LLM应用开发从“经验驱动”转向“数据驱动”。快速集成：先用基础追踪功能覆盖核心流程，建立可观测性；迭代优化：通过提示词管理和A/B测试，持续提升输出质量；体系化建设：结合评估系统和告警机制，构建稳定的生产环境。通过本文的实践指南，团队可在1-2周内完成LangFuse的落地，将LLM应用的调试效率提升50%以上，同时显著降低线上故障风险。
2025-11-13 16:50:37
726
原创 Human-in-the-loop（HITL）：人机协同驱动AI持续进化
HITL是指在AI系统的运行或训练过程中，人类在关键节点介入决策、审核或修正，将人类判断转化为可量化的反馈数据，反向优化AI模型或调整系统流程，最终实现“AI能力与人类需求”精准匹配的技术模式。Human-in-the-loop的核心价值在于打破“AI独立工作”的孤岛模式，让人类智慧成为AI的“质量把关人”与“进化燃料”。它不是AI的“替代品”，而是通过“AI提效、人类补位、数据反哺”的协同，解决AI在高风险、高精度场景中的信任问题，同时实现AI能力的持续迭代。
2025-11-13 15:57:34
616
原创 LangSmith+LangGraph本地化部署与离线调试实战指南（2025增强版）
在LLM技术深度渗透企业核心业务的今天，数据安全合规与开发连续性已成为不可忽视的生命线。某金融科技公司因云端工具处理敏感数据违反《数据安全法》被罚200万元，某AI创业公司遭遇云端API中断导致开发停滞3小时——这些真实案例凸显了本地化部署的迫切性。本文基于LangChain生态最新技术栈，系统拆解LangSmith+LangGraph本地化部署全流程，结合企业级优化方案与离线调试技巧，打造安全可控、高效稳定的LLM开发环境。本地化部署通过将LangSmith监控平台与LangGraph工作流引擎部署在企业
2025-11-13 15:49:29
1120
原创 LangSmith、Langchain、LangGraph Studio：LLM应用开发的“铁三角“
选择LangChain：快速原型、简单线性流程、轻量级应用选择LangGraph：复杂流程、状态管理、多智能体协作、需要人工干预的场景选择LangSmith：深度调试、生产监控、提示词优化、团队协作实际建议：从小型项目开始，先用LangChain构建基础功能；当流程变得复杂时引入LangGraph；应用上线后，添加LangSmith进行全面监控。三者并非互斥，而是层层递进的关系，共同构成LLM应用开发的"铁三角"，让AI应用的开发与运维更加高效、可控。
2025-11-13 11:31:50
358
原创 Langfuse：LLM应用全生命周期的“显微镜“与“加速器“
Langfuse通过提供全面可观测性、协作式提示词管理和智能评估能力，已成为LLM应用开发团队的必备工具。它不仅能帮助团队快速定位和解决问题，还能系统性提升应用质量和性能，最终实现**从"黑盒试错"到"透明优化"**的开发范式转变。先接入追踪→再优化提示词→最后建立评估体系，形成持续改进的闭环。
2025-11-13 11:27:27
294
原创 Agentic RL
Agentic RL的核心价值是“让智能体具备自主解决复杂问题的能力”，它通过融合大模型的“理解与规划”和强化学习的“自主学习”，打破了传统AI“碎片化、被动化”的局限。当前在客服、运维、机器人等需要“端到端闭环”的场景落地最快，是大模型从“生成内容”走向“解决实际问题”的关键技术。
2025-11-13 10:48:03
460
1原创 Rclone实战技巧
Rclone 凭借其灵活性、高性能和跨平台支持，成为数据管理的必备工具。无论是个人用户的多设备同步，还是企业级的混合云架构，都能通过其丰富的功能和参数配置实现高效、安全的数据流动。通过上述实战技巧，可进一步挖掘其潜力，解决复杂场景下的同步、加密、性能等问题。
2025-11-07 16:32:32
1122
原创 Megatron-LM 工程部署
可视化任务管理：部署 Slurm Web 界面（如 Slurmrestd + 自定义前端），支持任务提交、状态查看、日志下载。：监控 Lustre 文件系统使用率（≤80%）和 IO 带宽，避免因存储满或 IO 阻塞导致训练中断。
2025-10-16 16:43:51
1011
原创 Megatron-DeepSpeed 方案
Megatron-DeepSpeed 方案通过“序列并行优化激活值+ZeRO-3 分片参数”的协同机制，在显存紧张场景下实现万亿参数模型训练。配置 4 维并行策略（TP+PP+SP+DP），平衡显存与通信。编写 DeepSpeed 配置，启用 ZeRO-3 和激活重算。适配 Megatron 并行化模型层，确保与 DeepSpeed 兼容。监控显存和 MFU 指标，动态调整超参数。
2025-10-16 16:25:52
525
原创 Megatron-LM
Megatron-LM 是 NVIDIA 开发的高性能大语言模型训练框架，专为千亿至万亿参数级模型设计，核心优势在于通过先进的并行策略和硬件协同优化实现极致训练效率。
2025-10-16 16:19:01
489
原创 大序列长度（seq_length）导致的显存溢出（OOM）问题优化
Megatron-LM通过序列并行+上下文并行+分块处理的组合方案，在长序列训练中展现出显著的显存优势。启用和。结合和。若仍OOM，启用进行分块处理。通过以上优化，可在8卡A100集群上稳定训练seq_length=16K的70B模型，显存占用控制在60GB以内，兼顾效率与成本。
2025-10-16 16:00:26
503
原创 Kafka集群Broker一点通
broker关系：对等节点协作，通过“控制器”协调集群管理，通过“分区副本”实现高可用和负载均衡，无固定主从。brokerlist配置无需全部配置，客户端会自动发现所有broker。不建议只配一个，存在初始连接单点故障风险。最佳方案：配置2-3个稳定的核心broker，平衡可用性和维护成本。
2025-10-15 10:56:40
489
原创 初识RL（Reinforcement Learning，强化学习）
RL 训练是一种“从交互中学习”的范式，其核心是通过智能体与环境的持续试错，优化策略以最大化累积奖励。它不依赖标注数据（区别于监督学习），也不追求数据的聚类或降维（区别于无监督学习），而是聚焦于“序列决策”问题。尽管存在样本效率低、奖励设计难等挑战，但随着深度学习（如深度 RL）、大模型（如 RLHF，基于人类反馈的强化学习）的融合，RL 在复杂场景中的应用能力持续提升，成为实现“通用人工智能（AGI）”的重要技术路径之一。
2025-10-11 18:25:29
906
原创 SFT/DPO/PPO/GRPO训练全解析
场景需求推荐方法典型组合基础指令对齐（如问答机器人）SFT快速偏好对齐（资源有限）DPOSFT → DPO复杂偏好（如客服机器人，需安全+准确）PPO推理/代码任务（如数学解题、代码生成）GRPOSFT → GRPO核心原则：所有方法均以SFT为基础，数据质量决定上限，需根据资源与任务复杂度选择组合策略。
2025-09-30 16:01:50
1076
原创 Flink原理介绍
核心定位：开源流处理框架，支持无界流（实时流）与有界流（批处理）统一处理，打破“流批分离”的传统模式。发展背景：前身是德国柏林工业大学的项目，后捐献给Apache基金会并更名为Flink，经过多版本迭代成为大数据实时处理领域的核心工具。典型应用场景金融领域：实时交易监控、欺诈检测；物联网：传感器数据流实时分析（如智能设备状态监控）；互联网：用户行为实时分析、实时推荐、日志实时处理。
2025-09-30 11:06:51
555
原创 GPU计算效率提升：混合精度训练、并行优化、量化与VLLM实践
基于上述策略，丰语8B模型通过混合精度训练将显存占用从224GB降至80GB以内（A800单卡可承载），同时通过损失缩放和精度分层，保证预训练精度与FP32训练基本一致。并行优化通过“拆分模型或数据”，将大模型训练/推理任务分配到多GPU上执行，突破单卡显存与计算能力限制，核心分为四类并行方式。，在保证模型收敛精度的前提下，降低显存占用、提升计算吞吐量，解决大模型训练的硬件资源限制。将模型按层（或多层组）切分到不同GPU，数据以。
2025-09-29 11:09:59
1035
原创 私有化部署Ragflow的预训练模型
模型（通常是目标检测或文档结构解析类模型，如版面分析模型）到火山云，需基于ONNX Runtime推理框架，结合火山云的计算资源和服务能力实现。：若模型较大，先上传至火山云对象存储（TOS），再通过。的实际训练预处理逻辑调整（如归一化参数、输入尺寸等）。模型，为ragflow的文档解析流程提供后端推理能力。模型，提供HTTP接口供外部调用。通过以上步骤，可在火山云上稳定部署。部署ragflow代码库中的。：从ragflow代码库的。若使用CPU推理，安装。用FastAPI包装。
2025-09-10 19:59:32
1020
原创 大数据平台ETL任务导入分库分表数据
数据过滤：fdt_startdate>= FROM_UNIXTIME(UNIX_TIMESTAMP() - 60 * 60,‘%Y-%m-%d %H:00:00’) AND fdt_startdate<FROM_UNIXTIME(UNIX_TIMESTAMP() ,‘%Y-%m-%d %H:00:00’)分区 ：inc_day$[time(yyyyMMdd,-1d)]表：tb_inc_day_#0-63#数据源名称：db_victor。数据源：db_victor。表：dm_dtl_di。
2025-08-25 16:43:28
312
原创 分库分表数据源如何清洗同步到目标表
在平台限制FSpark只能使用SQL语言、且不支持Python组件进行数据库连接配置的情况下，仍可通过Shell预处理生成动态SQL+FSpark SQL读取分库分表+ETL同步的方案实现T-1数据导入。以下是具体实现，重点通过Shell动态生成包含所有分表的FSpark SQL脚本，规避Python依赖。利用Shell脚本动态生成包含所有分库分表的FSpark SQL代码（解决FSpark无法循环遍历分表的问题），通过FSpark SQL读取MySQL分库分表的T-1数据并落地到Hive中间表，最后通过E
2025-08-18 15:51:02
367
原创 ES操作手册
作用：客户端通过这些节点连接集群，ES会自动发现集群拓扑，实现负载均衡（查询请求分散到不同节点）和故障转移（某节点宕机时自动切换到其他节点）。主分片是数据存储的基本单元，决定索引的“水平扩展能力”（分片越多，可分散到更多节点存储）。（IK分词器的“最细粒度分词”），支持中文文本拆分（如“客服服务”拆分为“客服、服务、客、服”等），适合中文搜索。副本分片是主分片的冗余备份，作用是：① 故障恢复（主分片所在节点宕机时，副本可升级为主分片）；字段值不分词，直接作为整体存储，适合：① 唯一标识（如座席工号。
2025-08-16 17:50:16
1007
原创 Maven环境如何正确配置
通过系统安装Maven并配置环境变量，让VS Code的Maven插件正确识别项目，再用Maven命令管理依赖和运行项目，而非直接用javac编译。按步骤操作后，依赖会自动下载，编译错误和mvn命令找不到的问题会解决。
2025-08-16 15:27:14
1413
原创 Nacos机制
服务注册：将自己的服务信息注册到Nacos服务发现：从Nacos获取其他服务的地址信息服务调用：通过负载均衡调用第三方服务健康监控：Nacos自动监控服务实例的健康状态这种方式实现了微服务架构中的松耦合，服务之间不需要知道对方的具体地址，只需要知道服务名称即可完成调用。
2025-08-06 20:16:51
1186
原创 Elasticsearch向量库
首先创建一个包含字段的索引，用于存储向量数据。"text": { "type": "text" }, // 原始文本"embedding": { // 向量字段"dims": 768, // 向量维度（需与实际embedding维度一致，如BERT的768维）"index": true, // 开启索引（用于向量搜索）"similarity": "cosine" // 相似度计算方式（cosine/euclidean/l2_norm，默认l2_norm）dims。
2025-08-05 19:21:48
1915
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人