- 博客(42)
- 收藏
- 关注
RSS订阅原创 Elasticsearch 前缀匹配性能优化实战,附4种方式即执行计划判别
Elasticsearch 的查询性能优化，本质上是在索引时的工作量与查询时的响应时间之间做权衡。prefix查询：索引时轻松，查询时痛苦（需要遍历所有前缀）。: 与分词类似，但是会存在索引穿透问题edge_ngram分词：索引时多一份工作，查询时享受极速。对于Y01Y02这样的固定长度编码场景，edge_ngram 配合 min=max=3 是教科书级别的优化方案——它以几乎为零的磁盘膨胀代价，换来与精确 terms 查询同等级别的极致性能。希望本文能帮助你在实际项目中做出正确的技术决策。
2026-07-07 16:39:57
170
原创 Apache Gravitino 接入 Hive 数据并集成 Spark 查询
若 Spark 也跑在 Docker，建议和 Gravitino、HMS 放同一网络。：把已有的 Hive 数据（Hive Metastore + HDFS 上的表）接入 Gravitino 统一管理，再用 Spark SQL 通过 Gravitino 查询。用官方 Playground 一键起 Hive/HDFS/Trino/Spark 完整栈，见。（而非 Spark conf），这样所有用此 catalog 的 Spark 会话都生效。），再**委托 Spark **去访问 HMS / HDFS。
2026-07-03 09:19:03
383
原创 Apache Paimon 核心架构与底层物理拆解，这一篇就够了
Apache Paimon 的架构美学，本质上是一场用空间换时间、用异步开销换取瞬时极致写入吞吐的物理实践。它通过 Bucket 实现了计算的分布式隔离，通过 LSM-Tree 层级演进实现了冷热数据的平滑沉淀，再通过双指针归并彻底降维打击了传统湖格式的重构成本。搞懂了这套“层层消纳、呼吸平衡”的运转逻辑，你就真正掌握了驾驭流式数据狂暴入湖的艺术总纲。
2026-07-01 10:46:10
472
原创 彻底终结“小文件恶梦”，Iceberg V3 架构升级，开放湖仓迎来工业化时代
V3 凭空变走了“Delete（删除）小文件”，但它无法凭空变走“Data（数据）小文件”。流式实时写入本身的“时间碎屑效应”并没有消失。物理限制：只要提交触发，内存中缓冲的行数据必须强制刷写落盘。如果在这一分钟内，某些分区流入的数据量只有几 KB，它落盘后就会必然变成一个微小的.parquet数据文件。潜在风险：如果你有上百个并发度，一小时依然会产生数万个微小的数据文件。虽然读取时不需要做繁重的跨文件 Join，但下游分析引擎去对象存储拉取这几万个小文件时，网络请求延迟开销依然会成为新的瓶颈。
2026-07-01 10:28:11
302
原创 数仓历史数据回刷：主表与维表时间线不一致的行业最佳实践
发表于数仓架构与技术实践专栏 • 场景驱动架构设计在数据仓库的日常运营与数据回刷（Backfill）任务中，工程师经常会遇到一个经典的痛点：主表与维表的存在时间线不一致。例如，因业务扩展或底层日志重构，主表的数据范围可以追溯到 2018–2026 年，而对应的维表由于初始化较晚，数据范围仅覆盖 2020–2026 年。当面临这种“维表历史真空期”，如果直接使用标准的 dt = dt 进行等值时间关联，2018–2020 年的历史主表数据将会因无法匹配到维度而丢失或被置空。如何优雅地处理这段断层数据？
2026-06-24 14:37:21
218
原创 【Openclaw 】完美解决 Codex 认证失败
本文介绍了如何绕过Openclaw Codex的OAuth认证失败问题。当团队版Codex无API Key时，集成Openclaw使用openai-codex的OAuth认证会失败。解决方法是通过本地CLI登录Codex后，从auth.json文件中提取认证信息，并转换为auth-profiles.json格式。具体步骤包括：找到本地认证文件，提取access_token、refresh_token等关键信息，并按照指定格式写入Openclaw的agent目录下的配置文件中。该方法成功实现了在不使用OAut
2026-04-08 14:17:02
691
原创 [AIAgent-MCP]从连不上到跑通：MCP Inspector 本地调试 MCP Server 实战记录
本文从 MCP Inspector 的本地启动讲起，介绍如何连接 Streamable HTTP 与 SSE 两种模式的 MCP Server，并重点复盘为什么直接使用 mcp.run(transport="streamable-http") 可能导致 Inspector 连接失败，以及如何通过 Starlette + CORSMiddleware 正确处理跨域预检与 Mcp-Session-Id 暴露问题。文章最后也补充了 SSE 模式的连接方式，适合正在做 MCP Server 调试和本地联调的开发者参
2026-04-03 10:34:17
281
原创 一个真实案例,吃透MCPClient 和 MCPServer 交互
本文就用一个真实天气案例，从 0 到 1 搭建 MCP Server 和 MCP Client，把初始化、列工具、Tool Calls、Tool 执行到最终答案生成这条链路完整拆开讲清楚。#MCP #MCPClient #MCP Server #Agent #MCP实战 #Tool Calling #DeepSeek #AI工程化**大致功能: **Server端提供天气查询功能Client端通过调用Server通过Tool获取天气信息,回答用户问题。
2026-04-01 11:38:28
390
原创 [AIAgent-MCP]MCP Client 全景：Elicitation、Roots 与 Sampling 一次讲透
摘要：MCP Client是AI应用程序中连接MCP Server的协议组件，具备三大核心功能：Elicitation（按需信息补充）、Roots（定义文件系统边界）和Sampling（代理LLM调用）。Elicitation支持动态信息请求，Roots划定服务器操作范围，Sampling则让Client代为执行模型推理。这些功能使Server能构建更灵活的交互体验，同时保持Client对隐私和安全的控制。文章还介绍了各功能的最佳实践和交互流程，为深入理解MCP协议奠定了基础。
2026-03-30 22:19:20
396
原创 [AIAgent-MCP]MCP Server 全景：Tools、Resources、Prompts 一次讲透
MCP Server 到底是什么？拆解 MCP 三大核心能力（Tools、Resources、Prompts），并讲清常用协议方法与使用注意点。
2026-03-27 16:36:39
453
原创 [AIAgent-MCP]学了半天MCP，原来核心就这条调用链
MCP（Model Context Protocol）是一种标准化协议，用于连接AI应用程序与外部系统，类似于USB-C接口连接电子设备。它采用客户端-服务器架构，包含MCP Host（AI应用）、MCP Client（连接组件）和MCP Server（工具能力集中站）。MCP分为传输层（通信机制）和数据层（JSON-RPC协议），支持本地STDIO和远程HTTP传输。核心功能包括工具调用、资源访问和提示词模板。通过初始化协商和能力发现，MCP实现了AI应用与外部能力的无缝对接。
2026-03-27 08:56:47
417
原创 [跟着 Google ADK 学 Agent ] 到底什么是Agent Tools （一）
摘要： Agent中的工具（Tool）扩展了大模型的能力，使其能够获取实时数据、执行外部动作并构建工作流。工具分为内置工具（如联网搜索）和自定义函数工具（如查询订单状态），前者由供应商优化，后者需开发者定义。工具赋予Agent与外界交互的能力，使其从单纯文本生成升级为任务执行者。谷歌ADK提供了高性能的内置工具（如GoogleSearchTool）和灵活的Function calling机制，支持开发者创建定制化功能。最佳实践包括使用结构化返回、清晰描述工具用途及保持参数简洁，以提升模型调用效率。
2026-03-25 17:11:46
435
原创 【湖仓新视野】Fluss × Iceberg：为什么你的 Lakehouse 还不是 Streamhouse？
支持 ACID 事务支持 Time Travel支持 Schema Evolution能很好地承载大规模离线分析当我们希望把 Lakehouse 进一步推向“实时”时，Iceberg 本身就开始显得力不从心了。亚秒级实时报表高频 CDC 更新主键表实时查询实时特征供给 AI / 推荐系统需要当前状态的 Agentic AI 应用这时候你会发现，传统 Lakehouse 的能力边界其实很明显：它很擅长“冷数据分析”，却不擅长“热数据实时服务”。
2026-03-13 10:25:19
479
原创 [新一代实时神器 Fluss实战] - Lookup joins 实战
Fluss, Flink . lookup join, Paimon , kafka
2025-01-15 13:44:17
1187
原创 [新一代实时神器 Fluss实战] - 开启 Streaming Lakehouse
Fluss , Flink, Lakehouse, paimon
2025-01-14 11:54:07
1035
原创 Yarn Service API - 一种 万物 On Yarn 的部署方式
Yarn Service API, 万物 on yarn，trino on yarn , presto on yarn
2025-01-07 18:30:06
1365
原创 新一代实时神器-Fluss初识及部署
Fluss 是一种为实时分析而构建的流式存储，可以用作 Lakehouse 架构的实时数据层。Fluss 支持亚秒级延迟的流式读取和写入，并以列格式存储数据，从而提高查询性能并降低存储成本。它提供灵活的表类型，包括仅追加和可更新的，以满足不同的实时分析和处理需求。有其他看法欢迎大家一起讨论。
2025-01-06 11:21:04
2208
2
原创 《Yarn 资源调度器》使用记录
Yarn 资源调度器，优先级，Capacity ， Fair, priority, spark.yarn.priority
2025-01-06 10:37:18
883
原创 Flink 去重 Debezium-json 格式数据
Flink 去重 Debezium-json 格式数据，使用 Flink State 状态去重 Debezium-json 合适数据
2023-07-07 09:23:40
1430
原创 初识 Apache Iceberg 及自动化 Iceberg 表维护（小文件治理）
Apache Iceberg 架构迁徙及 自动化小文件治理方案
2023-07-05 23:51:19
2633
原创 Hadoop 系列 - 初识 Hadoop 及 NameNode 解析
NameNode 作为集群的 Master 节点，需要管理集群中的所有 Slave 节点即 DataNode，负责 DataNode 的心跳状态检查、上下线和整个集群的所有文件操作（读、写、删除）以及所有的用户操作。所以对于 NameNode 来说，在保证自己高可用的情况下还需要可以支撑超大流量的并发操作。注：运行在Hadoop集群的任务都会产生很多个请求，这些所有的请求都打到 NameNode 这儿 (更新元数据目录树)
2023-07-05 23:10:21
843
原创 Doris Spark Load 记录
在使用 Apache Doris Spark Load 中遇到的问题记录，每个人的环境不同可能遇到的问题 不一样，记录一下希望能帮助到大家
2023-01-04 14:49:55
1263
3
原创 Kafka 压缩、限流和 SASL_PLAIN 、 SASL_SCRAM-SHA-256简单认证
限流方式方式优点缺点client id简单便捷client id，一次只能有一个生产者实例，只能单并发user可以多 producer 同时进行，可与client id 进行组合，可以设置用户密码，增加一定的安全性，但用户名密码位置容易暴露需要对kafka 开启安全认证，部署复杂行增加基于 client id 限流使用方法# 对 test_lz4_10m_client 进行限流 生产消费速率为 10 M/S./bin/kafka-configs.sh --
2021-10-03 17:53:32
2191
原创 Presto 系列之 （三）Presto On Yarn
本系列主要会记录笔者在学习和使用 Presto 过程中学习记录及所遇到的问题和解决的方法，会不定期更新，同时也欢迎各位同鞋在文末留言一起探讨使用心得～概述什么是 Presto On Yarn ？为啥要有 Presto On Yarn ，能解决什么问题？实现 Presto On Yarn 需要做些什么？Presto On Yarn 是指将 Presto 集群运行在 Yarn 集群上面将集群资源统一交由 Yarn 进行管理；在实际工作环境中，Presto 集群进行单独部署需要单独的占用额外资源，而 .
2021-06-17 17:43:45
3029
5
原创 Presto 系列之 （二）Presto 安装部署
本系列主要会记录笔者在学习和使用 Presto 过程中学习记录及所遇到的问题和解决的方法，会不定期更新，同时也欢迎各位同鞋在文末留言一起探讨使用心得～在 Presto 系列之（一）初识 Presto 一篇我们大概介绍了 Presto 的架构和 Presto 特点及其查询的拆分执行，在本篇我们实操下 Presto 的部署安装。安装部署笔者的安装环境为：Centos 7jdk 11 （从 presto 332 开始需要使用 jdk11，可不设置环境变量，可在 presto 启动脚本中单独指定 .
2021-06-16 17:46:54
2231
原创 Presto 系列之 （一）初识 Presto
本系列主要会记录笔者在学习和使用 Presto 过程中学习记录及所遇到的问题和解决的方法，会不定期更新，同时也欢迎各位同鞋在文末留言一起探讨使用心得～Presto 简介Presto 是一款由 Facebook 开源的分布式 SQL 查询引擎，被设计为使用 MapReduce 作业管道 ( 如 Hive 或 Pig ) 查询HDFS的替代工具，用于对从 GB 到 PB 级别的各种大小的数据源运行交互式分析查询，并实现秒级和分钟级响应。它是一个符合 ANSI SQL 的查询引擎，允许用户将他们喜欢的数据.
2021-06-15 14:52:32
3328
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人