http://www.54tianzhisheng.cn/

该项目用于在 Flink 中为流处理和批处理构建动态表，支持超大流量的数据提取和及时的数据查询。注意：该项目仍处于 beta 状态，正在快速发展，不建议直接在生产环境中使用它。Flink Table Store 介绍在过去的几年里，得益于 Flink 社区众多的贡献者和用户，Apache Flink 已经成为最好的分布式计算引擎之一，尤其是在大规模有状态流处理方面。然而，...

Flink Hive Source 并行度推断源码解析批读 IcebergIceberg 提供了两个配置：publicstaticfinalConfigOption<Boolean>TABLE_EXEC_ICEBERG_INFER_SOURCE_PARALLELISM=ConfigOptions.key("table.exec.iceberg....

批读 HiveHiveOptions 中有两个配置publicstaticfinalConfigOption<Boolean>TABLE_EXEC_HIVE_INFER_SOURCE_PARALLELISM=key("table.exec.hive.infer-source-parallelism")...

FASTJSON 2.0是FASTJSON项目的重要升级，目标是为下一个十年提供一个高性能的JSON库，同一套API支持JSON/JSONB两种协议，JSONPath是一等公民，支持全量解析和部分解析，支持Java服务端、客户端Android、大数据场景。FASJTONS2代码 https://github.com/alibaba/fastjson2/releases/t...

导读：Kudu作为一款新型分布式系统，能够实现在数据快速读写的同时，提供媲美HDFS顺序扫描的性能，是对大数据生态的补充，是构建实时数仓的一款利器。我们把kudu深度集成进了网易有数大数据平台，用来支持和构建网易云音乐和网易传媒的实时数据仓库。本次分享的主要内容是网易在使用kudu的一些实践经验。 ...

本篇内容将通过六个部分来介绍开源大数据OLAP引擎最佳实践。一、开源OLAP综述二、开源数仓解决方案三、ClickHouse介绍四、StarRocks介绍五、Trino介绍六、客户案例01开源OLAP综述如今的开源数据引擎多种多样，不同种类的引擎满足了我们不同的需求。现在ROLAP计算存储一体的数据仓库主要有三种，即StarRocks(DorisDB)，ClickHous...

顶级的Kubernetes日志监控工具Kubernetes 集群需要重点关注的 6 个指标如何优雅的限制 Kubernetes 节点上运行的 Pod 数量容器与Pod到底有什么区别和联系？如何调试Kubernetes集群中的网络延迟问题新手必须知道的 Kubernetes 架构如何提高 Flink K8s 集群资源利用率？目录：一个目标：容器操作两地三中心四层服务发现五种...

Kubernetes 主导着容器编排市场，推动企业向微服务演进。微服务的每个实例都会生成大量日志事件，这些事件很快就会变得难以管理。但更复杂的是，当问题发生时，服务和故障模式之间的复杂交互使得很难找到根本原因。潜在的问题使 Kubernetes 日志管理工具变得非常重要。企业总是试图找到合适的工具来满足他们的需求，并使监控、日志记录和故障分析变得高效和快速。Zebrium...

如何提高 Flink K8s 集群资源利用率？新手必须知道的 Kubernetes 架构如何调试Kubernetes集群中的网络延迟问题如今行业中的公司似乎分为两个 Kubernetes 阵营：那些已经大量使用它来处理生产工作负载的公司，以及那些正在将其工作负载迁移到其中的公司。Kubernetes 的问题在于它不像 Redis RabbitMQ 或 PostgreSQL...

如何调试Kubernetes集群中的网络延迟问题新手必须知道的 Kubernetes 架构如何提高 Flink K8s 集群资源利用率？1Node节点默认的 Pod 数量Kubernetes Node节点每个默认允许最多创建110个Pod，有时可能会由于系统硬件的问题，从而需要控制Node节点的Pod的运行数量。即：需要调整Node节点的最大可运行Pod数量。一般来说，我...

容器本可以成为轻量级虚拟机的替代品。但是，由于 Docker/OCI 的标准化，最广泛使用的容器形式是每个容器只有一个进程服务。这种方法有很多优点——增加隔离性、简化水平扩展、更高的可重用性等。但是，它也有一个很大的缺点——正常情况下，虚拟（或物理）机器很少只运行一个服务。虽然 Docker 试图提供一些变通方法来创建多服务容器，但 Kubernetes 迈出了更大胆的一...

本文深入研究和解决了 Kubernetes 平台上的服务零星延迟问题，就在不久前我也遇到了类似的问题，看似是玄学事件，刚开始归结于网络链路抖动，一段时间后依然存在，虽然影响都是 P99.99 以后的数据，但是扰人心智，最后通过多方面定位，解决了该问题。最后发现跟业务、网络都没有什么关系，而是基础设施自身出了问题，如下文给了一个具体排查方案，并从一定程度上解释了容器、cgr...

控制平面组件ETCDetcd 是一个快速、分布式、一致的键值存储，用作持久存储 Kubernetes 对象数据（如 pod、replication controllers, secrets, services 等）的后备存储。实际上，etcd 是 Kubernetes 存储集群状态和元数据的唯一地方。唯一直接与 etcd 对话的组件是 Kubernetes API Ser...

问题在 Flink on K8s 默认提交作业的命令下，我们会指定作业的 JM/TM 的 CPU 和 Memory，最后作业生成的 pod 它的 CPU/Memory 的 request/limit 都是一样的资源，但是作业真实运行时使用的资源远达不到 limit 的值，这样就会造成机器资源浪费（水位不高，但是机器又不能再申请 pod）。比如下面命令：（指定了 TM 的资...

Flink源码篇，作业提交流程、作业调度流程、作业内部转换流程图Flink核心篇，四大基石、容错机制、广播、反压、序列化、内存管理、资源管理Flink基础篇，基本概念、设计理念、架构模型、编程模型、常用算子1、Flink SQL有没有使用过？2、Flink被称作流批一体，从哪个版本开始，真正实现流批一体的？3、Flink SQL 使用哪种解析器？4、Calcite主要功能...

Flink核心篇，四大基石、容错机制、广播、反压、序列化、内存管理、资源管理Flink基础篇，基本概念、设计理念、架构模型、编程模型、常用算子Flink源码篇，作业提交流程、作业调度流程、...

Flink基础篇，基本概念、设计理念、架构模型、编程模型、常用算子大纲：1、Flink的四大基石包含哪些？2、讲一下Flink的Time概念？3、介绍下Flink窗口，以及划分机制？4、介...

本文介绍了美团在如何解决大规模集群管理的难题、设计优秀且合理的集群调度系统方面的实践，阐述了美团在落地以Kubernetes为代表的云原生技术时，比较关心的问题、挑战以及对应的推进策略。同...

1、什么是Flink？简单描述下2、解释下其中的 数据流、流批一体、容错能力等概念？3、Flink 和 Spark Streaming的区别？4、Flink 的架构包含哪些？5、Flink...

图文详解CDC技术，看这一篇就够了！Flink CDC Connectors是 Apache Flink 的一组源端（Source）连接器，通过捕获变更数据（Change Data Ca...