<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[云祁QI]]></title><description><![CDATA[人生，海海，破浪前行。]]></description><link>https://blog.csdn.net/BeiisBei</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; BeiisBei]]></copyright><item><title><![CDATA[数仓实践：超大表同步，别再凭直觉选  SeaTunnel + Hive  了]]></title><link>https://blog.csdn.net/BeiisBei/article/details/161496713</link><guid>https://blog.csdn.net/BeiisBei/article/details/161496713</guid><author>BeiisBei</author><pubDate>Thu, 28 May 2026 22:57:31 +0800</pubDate><description><![CDATA[分片多了以后小文件是另一个问题：1024 张源表，每次同步写几个文件，攒下来小文件数量很快就到了让查询性能崩掉的量级，然后要专门跑 Compaction 任务来清理，而且清理过程还可能和正在跑的查询互相打架。还有一个更隐蔽的：Hive 写入过程中没有读写隔离，如果下游报表恰好在 Merge 的中间时刻开始跑，读到的可能是只写了一半的分区——数据撕裂，复现困难，让人怀疑人生。这个判断失误了，数据会静悄悄地错，而不是直接报错。你的数据量是可预期的，你的调度窗口是够用的，你的数据主要是 INSERT。]]></description><category></category></item><item><title><![CDATA[从 Prompt 到 Skills：AI 能力工程化的范式跃迁]]></title><link>https://blog.csdn.net/BeiisBei/article/details/161371886</link><guid>https://blog.csdn.net/BeiisBei/article/details/161371886</guid><author>BeiisBei</author><pubDate>Sun, 24 May 2026 20:59:34 +0800</pubDate><description><![CDATA[这三个条件叠加，意味着 Skills 已经从"PPT 概念"，变成"有人在生产环境天天用的东西"。如果说官方仓库更偏"基础能力组件"，Awesome 列表更像"目录索引"，那 Claude Skills Marketplace 则是一个"装完就能跑流程"的工作流合集。围绕 Skills 搭建起来的，不只是工具箱，而是在构建一个可生长的 "集体大脑" ——每一个被沉淀的 Skill，都是组织知识的一次结晶。之后的时代，是"谁会写、会运营 Skills，谁在真正定义人与 AI 的协作方式"。]]></description><category></category></item><item><title><![CDATA[2026年什么样的数据开发最值钱？]]></title><link>https://blog.csdn.net/BeiisBei/article/details/156811185</link><guid>https://blog.csdn.net/BeiisBei/article/details/156811185</guid><author>BeiisBei</author><pubDate>Sat, 10 Jan 2026 16:04:01 +0800</pubDate><description><![CDATA[因为，数据开发的魅力，从来不是 "我能写多复杂的 SQL"，而是 "我用数据解决了多重要的问题"。LLM时代的数据开发，不是关于 "会不会被替代"，而是关于 "如何更好地创造价值"。这个层次的数据人，已经不再只是 "数据开发"，而是 "用数据重新定义商业模式"。很多数据架构师容易犯的错误是 "我觉得业务需要"，而不是 "业务真正需要"。大部分公司需要的是 "会用LLM的工程师"，而非 "研发LLM的算法工程师"多问 "为什么"：这个表为什么这样设计？1.1 本质不是 "开发数据"，而是 "用数据解决问题"]]></description><category></category></item><item><title><![CDATA[大模型提升数据开发效率实践指南]]></title><link>https://blog.csdn.net/BeiisBei/article/details/156583585</link><guid>https://blog.csdn.net/BeiisBei/article/details/156583585</guid><author>BeiisBei</author><pubDate>Sun, 04 Jan 2026 10:20:23 +0800</pubDate><description><![CDATA[而大模型处理自然语言是天生优势，因此在需求理解环节，大模型的提效最为显著，相当于给自己一个提纲，顺着提纲读 PRD 快多了。与其焦虑，不如行动。LLM 时代的数据开发，不是关于"会不会被替代"，而是关于"如何更好地协作"。拥抱变化，善用工具，让技术释放人的创造力，这才是我们的目标。：云祁，某大厂资深数据工程师，经历过数据中台的坑坑洼洼，踩过无数次坑。："道路千万条，安全第一条，测试不规范，复盘两行泪"。也就是说，人类专家负责构建业务流程，大模型来完成流程环节，比幻想大模型一下子做成什么事情，可行得多。]]></description><category></category></item><item><title><![CDATA[关于数据湖 Paimon，万字长文带你快速入门]]></title><link>https://blog.csdn.net/BeiisBei/article/details/156138019</link><guid>https://blog.csdn.net/BeiisBei/article/details/156138019</guid><author>BeiisBei</author><pubDate>Sun, 21 Dec 2025 22:35:02 +0800</pubDate><description><![CDATA[从早期的Hive到现在的Iceberg、Hudi，再到今天我们要深入探讨的 Apache Paimon，数据湖技术一直在不断演进。Apache Paimon（前身为Flink Table Store）是由阿里巴巴开源并贡献给Apache基金会的新一代流式数据湖存储，它在统一批流处理、实时数据更新等方面有着独特的优势。✅ 实时数据仓库（秒级延迟） ✅ CDC数据同步（MySQL、PostgreSQL） ✅ 流批一体场景（Flink为主） ✅ 高频更新场景（电商订单、用户画像）]]></description><category></category></item><item><title><![CDATA[数据治理这件事，90% 的公司都做错了]]></title><link>https://blog.csdn.net/BeiisBei/article/details/157650163</link><guid>https://blog.csdn.net/BeiisBei/article/details/157650163</guid><author>BeiisBei</author><pubDate>Tue, 16 Dec 2025 21:57:49 +0800</pubDate><description><![CDATA[云祁，某大厂资深数据工程师，经历过数据治理的坑坑洼洼，踩过无数次坑。公众号「云祁的数据江湖」主理人，专注分享接地气的数据工程实战。真正好的治理是润物细无声的， 它不会天天被提起，但所有人都离不开。大多数公司的数据治理失败，不是因为技术不行， 而是从一开始就。一、为什么一提"数据治理"，大家第一反应是抵触？"数据治理"这四个字，在很多公司已经被用坏了。二、血缘 / 口径 / 质量：三大"治理幻觉"系统"看起来很安全"， 实际没人真正信数据。先解决"用得顺不顺"， 再谈"规不规范"。]]></description><category></category></item><item><title><![CDATA[数据治理这件事，90% 的公司都做错了]]></title><link>https://blog.csdn.net/BeiisBei/article/details/155995301</link><guid>https://blog.csdn.net/BeiisBei/article/details/155995301</guid><author>BeiisBei</author><pubDate>Tue, 16 Dec 2025 21:57:49 +0800</pubDate><description><![CDATA[云祁，某大厂资深数据工程师，经历过数据治理的坑坑洼洼，踩过无数次坑。公众号「云祁的数据江湖」主理人，专注分享接地气的数据工程实战。真正好的治理是润物细无声的， 它不会天天被提起，但所有人都离不开。大多数公司的数据治理失败，不是因为技术不行， 而是从一开始就。一、为什么一提"数据治理"，大家第一反应是抵触？"数据治理"这四个字，在很多公司已经被用坏了。二、血缘 / 口径 / 质量：三大"治理幻觉"系统"看起来很安全"， 实际没人真正信数据。先解决"用得顺不顺"， 再谈"规不规范"。]]></description><category></category></item><item><title><![CDATA[Spark SQL 深度优化实战指南：从原理到生产的完整方法论]]></title><link>https://blog.csdn.net/BeiisBei/article/details/157660571</link><guid>https://blog.csdn.net/BeiisBei/article/details/157660571</guid><author>BeiisBei</author><pubDate>Wed, 10 Dec 2025 22:06:31 +0800</pubDate><description><![CDATA[哈喽，我是云祁，好久不见～ 今天和大家聊聊 Spark SQL 优化，结合深度扩展的经验，增加了原理剖析、生产实践案例、性能对比数据和系统化诊断方法。错误 3：org.apache.spark.shuffle.FetchFailedException。：某电商公司的日志分析任务，数据量从凌晨的 100GB 到晚上的 2TB 波动巨大。：Spark SQL 的优化不再是简单的"调参游戏"，而是需要理解。：某互联网公司的用户行为分析，两张 10TB 的表 Join。]]></description><category></category></item><item><title><![CDATA[Spark SQL 深度优化实战指南：从原理到生产的完整方法论]]></title><link>https://blog.csdn.net/BeiisBei/article/details/155793976</link><guid>https://blog.csdn.net/BeiisBei/article/details/155793976</guid><author>BeiisBei</author><pubDate>Wed, 10 Dec 2025 22:06:31 +0800</pubDate><description><![CDATA[哈喽，我是云祁，好久不见～ 今天和大家聊聊 Spark SQL 优化，结合深度扩展的经验，增加了原理剖析、生产实践案例、性能对比数据和系统化诊断方法。错误 3：org.apache.spark.shuffle.FetchFailedException。：某电商公司的日志分析任务，数据量从凌晨的 100GB 到晚上的 2TB 波动巨大。：Spark SQL 的优化不再是简单的"调参游戏"，而是需要理解。：某互联网公司的用户行为分析，两张 10TB 的表 Join。]]></description><category></category></item><item><title><![CDATA[关于数据湖 Paimon，万字长文带你快速入门（上）]]></title><link>https://blog.csdn.net/BeiisBei/article/details/157655430</link><guid>https://blog.csdn.net/BeiisBei/article/details/157655430</guid><author>BeiisBei</author><pubDate>Sat, 15 Mar 2025 13:39:40 +0800</pubDate><description><![CDATA[For fields.<field-name>.sequence-group, valid comparative data types include: DECIMAL, TINYINT, SMALLINT, INTEGER, BIGINT, FLOAT, DOUBLE, DATE, TIME, TIMESTAMP, and TIMESTAMP_LTZ. sequence-group支持以上这些类型。当 n=1 的时候，对生成 changelog 的延迟没有特别大的影响。]]></description><category></category></item><item><title><![CDATA[关于数据湖 Paimon，万字长文带你快速入门（上）]]></title><link>https://blog.csdn.net/BeiisBei/article/details/146330237</link><guid>https://blog.csdn.net/BeiisBei/article/details/146330237</guid><author>BeiisBei</author><pubDate>Sat, 15 Mar 2025 13:39:40 +0800</pubDate><description><![CDATA[For fields.<field-name>.sequence-group, valid comparative data types include: DECIMAL, TINYINT, SMALLINT, INTEGER, BIGINT, FLOAT, DOUBLE, DATE, TIME, TIMESTAMP, and TIMESTAMP_LTZ. sequence-group支持以上这些类型。当 n=1 的时候，对生成 changelog 的延迟没有特别大的影响。]]></description><category></category></item><item><title><![CDATA[七年磨一剑！《大数据之路2》全新升级重磅上市（文末赠书）]]></title><link>https://blog.csdn.net/BeiisBei/article/details/146031778</link><guid>https://blog.csdn.net/BeiisBei/article/details/146031778</guid><author>BeiisBei</author><pubDate>Tue, 04 Mar 2025 08:22:23 +0800</pubDate><description><![CDATA[点击上方 "云祁的数据江湖"关注,星标一起成长为什么要读“科技史”？约400年前，英国哲学家弗兰西斯·培根，这位科学时代的预言家给出--文末赠书--7年前，《大数据之路：阿里巴巴大数据实践》一书横空出世，当时正值大数据概念及其所代表的技术力量蓬勃发展的时期，各行各业开始感受到数据规模不断增长所带来的压力，以及面临的挑战和机遇。这本书凝聚了阿里巴巴在大数据实践过程中积累的经验、教训和方法，在业界掀...]]></description><category></category></item><item><title><![CDATA[数仓建模：一种动态字段表模型设计方法与应用]]></title><link>https://blog.csdn.net/BeiisBei/article/details/146003742</link><guid>https://blog.csdn.net/BeiisBei/article/details/146003742</guid><author>BeiisBei</author><pubDate>Mon, 03 Mar 2025 08:22:37 +0800</pubDate><description><![CDATA[0 引言在当今数据驱动的业务环境中，数据的结构和需求往往是多变的。尤其是在一些新兴的业务场景或快速迭代的项目中，传统的固定字段表结构可能无法满足灵活性和扩展性的要求。此时，动态字段表模型的设计就显得尤为重要。以下将详细介绍一种基于实际项目经验的动态字段表模型设计方法。1 问题背景电商公司搭建一个商品管理系统，该电商公司销售的商品种类繁多，涵盖了电子产品、服装、家居用品、食品等多个品类。每个品类的商...]]></description><category></category></item><item><title><![CDATA[如何用大模型提升数据开发各个环节效率]]></title><link>https://blog.csdn.net/BeiisBei/article/details/145957034</link><guid>https://blog.csdn.net/BeiisBei/article/details/145957034</guid><author>BeiisBei</author><pubDate>Sat, 01 Mar 2025 08:22:23 +0800</pubDate><description><![CDATA[如何用大模型提升数据开发各个环节效率一点感受，大模型做一个完整的技术方案，很难；但如果大模型改造我们工作流程中的每一个环节，大有可为。也就是，人类专家负责构建业务流程，大模型来完成流程环节，比幻想大模型一下子做成什么事情，可行的多。这篇文章从数据仓库的日常研发视角出发，分析大模型可以对每一个环节做哪些效率的提升。## |0x00 推理模型和非推理模型的区别我们都知道要用DeepSeek的R1，这...]]></description><category></category></item><item><title><![CDATA[从1到2: 我的大数据成长之路]]></title><link>https://blog.csdn.net/BeiisBei/article/details/145918005</link><guid>https://blog.csdn.net/BeiisBei/article/details/145918005</guid><author>BeiisBei</author><pubDate>Thu, 27 Feb 2025 08:22:26 +0800</pubDate><description><![CDATA[我是大熊！某大厂数据负责人。文末分享：我如何5年就带团队了？截图是我重读《大数据之路1》做的笔记。因为2看了一些，它已经发展到走出阿里的阶段，视野更开拓，而我越觉得自己基础不扎实，所以才有此重读。读书的意义是把前辈的经验，映射到自己的环境去解决实际问题。首篇：日志采集它有什么资格放首位？我问自己。业界公认电商平台玩的就是流量，核心就是做流量分配，因此我回看了阿里24Q4财报。淘天集团Custome...]]></description><category></category></item><item><title><![CDATA[超全面数仓建设规范指南（干货建议收藏）]]></title><link>https://blog.csdn.net/BeiisBei/article/details/157647195</link><guid>https://blog.csdn.net/BeiisBei/article/details/157647195</guid><author>BeiisBei</author><pubDate>Wed, 26 Feb 2025 21:11:36 +0800</pubDate><description><![CDATA[比如在 OLTP 系统中，存在商品表和类目表，且商品表中有冗余的类目表的属性字段，假设对其类目进行更新，则必须更新商品表和类目表，且由于商品和类目是一对多的关系，商品表可能每次需要更新几十万甚至上百万条记录，这是不合理的。例如，商品是否在线，即在淘宝网站是否可以查看到此商品，是重要的查询约束的条件，但是无法直接获取，需要进行加工，加工逻辑是：商品状态为0和1且商品上架时间小于或等于当前时间，则是在线商品；例如，在查询请求中，获取某类目的商品、正常状态的商品等，是通过约束商品类目属性和商品状态属性来实现的；]]></description><category></category></item><item><title><![CDATA[超全面数仓建设规范指南（干货建议收藏）]]></title><link>https://blog.csdn.net/BeiisBei/article/details/145887145</link><guid>https://blog.csdn.net/BeiisBei/article/details/145887145</guid><author>BeiisBei</author><pubDate>Wed, 26 Feb 2025 20:36:20 +0800</pubDate><description><![CDATA[OneData：包括一整套数据规范定义标准、数据模型架构设计最佳实践和产品工具体系来保障数据资产标准化、规范化建设。旨在面向各行各业大数据建设、管理及应用诉求，通过输出实战沉淀的大数据建设体系OneModelOneIDOneServic（产品、技术、方法论），一站式提供集数据引入、规范定义、数据建模、数据研发、数据萃取、数据资产管理和数据服务的全链路智能数据构建及管理服务，助力企业打造属于自己的标准统一、资产化、服务化和闭环自优化的智能数据体系。]]></description><category></category></item><item><title><![CDATA[保姆级教程！DeepSeek神级指令拆解！小白秒变提示词大师！]]></title><link>https://blog.csdn.net/BeiisBei/article/details/145892755</link><guid>https://blog.csdn.net/BeiisBei/article/details/145892755</guid><author>BeiisBei</author><pubDate>Tue, 25 Feb 2025 08:22:27 +0800</pubDate><description><![CDATA[????前言：为什么你总在AI对话中碰壁？「明明问的是同样问题，同事3分钟出方案，你却得到一堆车轱辘话？」「看别人用AI写爆款文案、做数据分析，自己却连基础指令都组织不好？」这不是你的问题！90%的新手都不知道：❗ AI工具存在「暗黑模式」→ 不会说「咒语」就只能得到平庸答案❗ 提问方式决定命运 → 高手都在用「结构化指令模板」欢迎大家关注，一起学习交流????第一章：速成心法——指令工程师的3大核心法则...]]></description><category></category></item><item><title><![CDATA[再谈谈 “数据价值” 这个话题]]></title><link>https://blog.csdn.net/BeiisBei/article/details/145842161</link><guid>https://blog.csdn.net/BeiisBei/article/details/145842161</guid><author>BeiisBei</author><pubDate>Mon, 24 Feb 2025 20:22:38 +0800</pubDate><description><![CDATA[前言这次还是想聊聊数据价值这个话题，最近群友问的比较多，甚至遇到过的cto/cdo（数据总监）也在苦于如何展现价值，如何向更大的老板汇报，去呈现价值也是大家都在思考的一件事，之前也讲过一期简单的数据价值内容，可能细节案例还不够，那我们这一期还是谈一下数据价值，搞清楚它，以及在总结时，面试时如何说数据价值。价值概念价值可以理解为你对团队创造贡献或你能为团队创造的贡献，例如某大厂专家岗加入某小厂可以带...]]></description><category></category></item><item><title><![CDATA[无缝集成 MySQL，解锁秒级数据分析性能极限]]></title><link>https://blog.csdn.net/BeiisBei/article/details/145046195</link><guid>https://blog.csdn.net/BeiisBei/article/details/145046195</guid><author>BeiisBei</author><pubDate>Thu, 09 Jan 2025 20:22:30 +0800</pubDate><description><![CDATA[阿里妹导读在数据驱动决策的时代，一款性能卓越的数据分析引擎不仅能提供高效的数据支撑，同时也解决了传统 OLTP 在数据分析时面临的查询性能瓶颈、数据不一致等挑战。本文将介绍通过 AnalyticDB MySQL + DTS 来解决 MySQL 的数据分析性能问题。引言在应对大规模业务数据的在线统计分析需求时，传统数据库常常难以满足高性能和实时分析的要求。随着业务数据的不断累积，数据量迅速膨胀，虽然...]]></description><category></category></item></channel></rss>