http://www.54tianzhisheng.cn/

今天来谈谈小程序技术。相信说到小程序，大部分人的第一反应，可能是微信小程序、支付宝小程序。确实，以前小程序这种生态只有巨头才玩的起。记得较早前微信、支付宝、抖音等一窝风引入小程序技术，我个人并不看好，总结成一句话“不太好上手”，WXML、WXSS、新的架构、新的规则、新的文档，不管对于开发者来说还是对于公司来讲“成本”是实实在在的门槛。但现在来看，由于小程序第三方架构的普及，以及小程序具备开发简单...

管理小文件许多用户关注小文件问题，可能导致以下情况：稳定性问题：HDFS 中如果存在太多小文件的话会导致 NameNode 压力过大成本问题：在 HDFS 中，每个小文件都会占用至少一个数据块的大小，例如 128 MB查询效率：查询过多小文件会影响查询效率理解 Checkpoint假设你正在使用 Flink Writer，每个 Checkpoint 会生成 1 ～ 2 个 snapshot，并且 ...

本文旨在澄清不同文件操作对文件的影响。本页面提供具体示例和实用技巧，以有效地管理这些操作。此外，通过对提交（commit）和压实（compact）等操作的深入探讨，我们旨在提供有关文件创建和更新的见解。前提对以下几篇有了解：1、Apache Paimon 介绍2、Apache Paimon 基础概念3、Apache Paimon 文件布局设计4、知道如何在 Flink 中使用 Paimon创建 c...

Apache Paimon 介绍Apache Paimon 基础概念一张表的所有文件都存储在一个基本目录下，Paimon 文件以分层方式组织。从快照文件开始，可以递归地访问表中的所有记录。image.pngSnapshot Files所有的 snapshot 文件都存储在 snapshot 目录下，snapshot file 是一个包含了 snapshot 信息的 JSON 文件：使用的 Sche...

Snapshot快照（Snapshot）是在某个时间点上捕捉表状态的方式。用户可以通过最新的快照访问表的最新数据。通过时间回溯，用户还可以通过较早的快照访问表的先前状态。privatestaticfinalStringFIELD_VERSION="version";privatestaticfinalStringFIELD_ID="id";privatestatic...

从 Flink Table Store 演进而来Flink table store架构如下图：（和今天 Paimon 的架构相比，Log System 不再被推荐使用，Lake Store 的能力大幅强于 Log System，除了延时）2021 年 9 月，发布了 0.2 版本，陆续有在生产使用。Flink Table Store 是一个数据湖存储，用于实时流式 Changelog 写入 (比如...

背景不管是 Flink On Yarn 还是 On k8s，如果任务正常运行，我们是可以通过 Flink Web UI 去查看 JobManager 和 TaskManager 日志，虽然日志量大的时候去不同的 TaskManager 找日志有点困难（如何快速知道日志在哪个 TaskManager 上；在 TaskManager 里面可能有多个滚动的日志文件，如何快速找到 root cause 异常；如果 TaskManager OOM 掉了该容器的日志就看不到了），但是起码给了一个可以看日志的途径。熟

背景不管是 Flink On Yarn 还是 On k8s，如果任务正常运行，我们是可以通过 Flink Web UI 去查看 JobManager 和 TaskManager 日志，虽然日志量大的时候去不同的 TaskManager 找日志有点困难（如何快速知道日志在哪个 TaskManager 上；在 TaskManager 里面可能有多个滚动的日志文件，如何快速找到 root cause 异...

记录一个比较有意义的故障，没遇到的可以避坑，已经被坑过的只能握手????了。背景因阿里云提示机器有故障，会在第二天早高峰自动重启，按照之前运维操作，提前做好通知后，在集群非高峰期将机器踢出集群。踢出集群时该机器上运行的 TaskManager Pod 会挂掉，Flink 会在其他正常机器上申请新的 TaskManager 运行，期间会有任务的 failover。操作后 10 来分钟看到公司大群有值班同事...

EventTimeTriggerEventTimeTrigger 的触发完全依赖 watermark，换言之，如果 stream 中没有 watermark，就不会触发 EventTimeTrigger。watermark 之于事件时间就是如此重要，来看一下 watermark 的定义先~Watermarks 是某个 event time 窗口中所有数据都到齐的标志。Watermarks 作为数据...

Apache Flink 继续快速发展，是 Apache 中最活跃的社区之一。Flink 1.16 有超过 230 名贡献者热情参与，完成了 19 个 FLIP 和 900+ 个问题，为社区带来了许多令人兴奋的功能。Flink 已经成为流处理的主角和事实标准，流批处理统一的概念正在逐渐获得认可，并在越来越多的公司中成功实施。此前，流批一体的概念更强调统一的API和统一的计算框架。今年，基于此，Fl...

今天我准备和你详细介绍如何开始参与开源项目，帮助你在 GitHub 上完成第一个 PR 的合入。当然，除了正常的 PR 合入流程之外，我还准备详细介绍一下如果一个 PR 提交后遇到了冲突、需要追加 commits、需要合并 commits 等等相对复杂问题该如何解决。—1—为什么要参与开源项目本文我不打算长篇大论“为什么要参与开源”，详细介绍参与开源项目的收获，我想仅...

数据架构总是在更新迭代的路上，以使其快速适应变化的数据环境，更为敏捷和规模化地给业务部门交付数据。在传统的数据架构中，存在数据复杂度高、缺乏敏捷性、不便于协作、数据和一致性可解释性低下等问题。这些挑战阻碍了企业迈向数据驱动型企业的道路，也难以实现快速响应业务需求。在寻求最佳数据架构的过程中，Data Fabric 和 Data Mesh 常常被关注到，这两者乍一看很相似，...

全球最大的开源软件基金会 Apache 软件基金会（以下简称 Apache）于美国时间 2022 年 6 月 16日 宣布，Apache Doris 成功从 Apache 孵化器毕业，正式成为 Apache 顶级项目（Top-Level Project，TLP）。以下内容译自 Apache Doris 官网（https://doris.apache.org/），点击“...

全文共7110个字，建议阅读15分钟在了解湖仓一体化之前，我们先来看一则有关数据仓库的有趣故事吧~沃尔玛拥有世界上最大的数据仓库系统，它利用数据挖掘方法对交易数据进行分析后发现"跟尿布一起购买最多的商品竟是啤酒！后来经过大量实际调查和分析，发现在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%～40%的人同时也为自己买一些啤酒，这是因为美国的太太们常叮...

【云原生】一文细数kubernetes常见20道问题彻底搞懂 K8S Pod Pending 故障原因及解决方案Kubernetes 架构核心点详细总结！顶级的Kubernetes日志监控工具Kubernetes 集群需要重点关注的 6 个指标如何优雅的限制 Kubernetes 节点上运行的 Pod 数量容器与Pod到底有什么区别和联系？如何调试Kubernetes集群...

1、K8S是什么？2、容器和主机部署应用的区别是什么？3、K8S架构的组成是什么？4、kubenetes针对pod资源对象的健康监测机制5、如何控制滚动更新过程？6、镜像下载策略是什么？7、image的状态有哪些？8、pod的重启策略是什么？9、K8S中部署应用版本回滚的命令10、标签和标签选择器的作用是什么？11、常用的标签分类有哪些？12、查看标签的方式？13、添加、...

该项目用于在 Flink 中为流处理和批处理构建动态表，支持超大流量的数据提取和及时的数据查询。注意：该项目仍处于 beta 状态，正在快速发展，不建议直接在生产环境中使用它。Flink Table Store 介绍在过去的几年里，得益于 Flink 社区众多的贡献者和用户，Apache Flink 已经成为最好的分布式计算引擎之一，尤其是在大规模有状态流处理方面。然而，...

Flink Hive Source 并行度推断源码解析批读 IcebergIceberg 提供了两个配置：publicstaticfinalConfigOption<Boolean>TABLE_EXEC_ICEBERG_INFER_SOURCE_PARALLELISM=ConfigOptions.key("table.exec.iceberg....

批读 HiveHiveOptions 中有两个配置publicstaticfinalConfigOption<Boolean>TABLE_EXEC_HIVE_INFER_SOURCE_PARALLELISM=key("table.exec.hive.infer-source-parallelism")...