zhisheng_blog
码龄9年
关注
提问 私信
  • 博客:1,564,320
    社区:236
    问答:9,516
    1,574,072
    总访问量
  • 319
    原创
  • 1,331,066
    排名
  • 2,190
    粉丝
  • 6
    铁粉
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:浙江省
  • 加入CSDN时间: 2015-09-06
博客简介:

http://www.54tianzhisheng.cn/

博客描述:
坑要一个个填,路要一步步走!我的新博客地址:http://www.54tianzhisheng.cn?csdn
查看详细资料
个人成就
  • 博客专家认证
  • 获得1,006次点赞
  • 内容获得444次评论
  • 获得2,984次收藏
  • 代码片获得557次分享
创作历程
  • 6篇
    2024年
  • 2篇
    2023年
  • 44篇
    2022年
  • 199篇
    2021年
  • 196篇
    2020年
  • 96篇
    2019年
  • 41篇
    2018年
  • 65篇
    2017年
  • 82篇
    2016年
  • 1篇
    2015年
成就勋章
TA的专栏
  • 大数据实时计算引擎 Flink 实战与性能优化
    付费
    73篇
  • Python相关文章
    9篇
  • Mybatis学习
    4篇
  • java学习
    14篇
  • 从0到1学习Flink
    20篇
  • java
    112篇
  • 项目
    3篇
  • 刷题题解
    16篇
  • 算法
    18篇
  • 励志文章
    4篇
  • 安卓
    2篇
  • 设计模式
    2篇
  • python
    12篇
  • 数据库
    4篇
  • mysql
    3篇
  • 计算机网络
    2篇
  • redis
    2篇
  • 数据结构
    24篇
  • 爬虫
    8篇
  • 面试
    8篇
  • 操作系统
    2篇
  • 正则表达式
    1篇
  • 智力题
    2篇
  • Ubuntu
    3篇
  • Linux
    3篇
  • SpringBoot
    14篇
  • 架构
    3篇
  • pyspider
    3篇
  • mysql
    1篇
  • github
    3篇
  • 个人网站
    3篇
  • jsp
    2篇
  • Mybatis
    5篇
  • Spring/Spring MVC
    7篇
  • Hibernate
    2篇
  • Bootstrap
    3篇
  • Oracle
    1篇
  • markdown
    1篇
  • jvm
    4篇
  • ajax
  • Velocity
    1篇
  • servlet
    1篇
  • 线程池
    1篇
  • elasticsearch
    10篇
  • lua
    1篇
  • maven
    2篇
  • HBase
    1篇
  • docker
    2篇
  • netty
    1篇
  • 前端
    1篇
  • hexo
    1篇
  • consul
    1篇
  • Kafka
    5篇
  • RabbitMQ
    1篇
  • RocketMQ
    4篇
  • 显示器
  • go
    1篇
  • Flink
    40篇
  • 大数据
    35篇
  • 流式计算
    34篇
兴趣领域 设置
  • 大数据
    flink
  • 后端
    架构
我的微信
创作活动更多

超级创作者激励计划

万元现金补贴,高额收益分成,专属VIP内容创作者流量扶持,等你加入!

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

全端覆盖的国产黑科技太强了,支持 HarmonyOS NEXT!

今天来谈谈小程序技术。相信说到小程序,大部分人的第一反应,可能是微信小程序、支付宝小程序。确实,以前小程序这种生态只有巨头才玩的起。记得较早前微信、支付宝、抖音等一窝风引入小程序技术,我个人并不看好,总结成一句话“不太好上手”,WXML、WXSS、新的架构、新的规则、新的文档,不管对于开发者来说还是对于公司来讲“成本”是实实在在的门槛。但现在来看,由于小程序第三方架构的普及,以及小程序具备开发简单...
转载
发布博客 2024.03.22 ·
263 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Apache Paimon 文件管理

管理小文件许多用户关注小文件问题,可能导致以下情况:稳定性问题:HDFS 中如果存在太多小文件的话会导致 NameNode 压力过大成本问题:在 HDFS 中,每个小文件都会占用至少一个数据块的大小,例如 128 MB查询效率:查询过多小文件会影响查询效率理解 Checkpoint假设你正在使用 Flink Writer,每个 Checkpoint 会生成 1 ~ 2 个 snapshot,并且 ...
原创
发布博客 2024.02.19 ·
1388 阅读 ·
21 点赞 ·
0 评论 ·
20 收藏

Apache Paimon 文件操作

本文旨在澄清不同文件操作对文件的影响。本页面提供具体示例和实用技巧,以有效地管理这些操作。此外,通过对提交(commit)和压实(compact)等操作的深入探讨,我们旨在提供有关文件创建和更新的见解。前提对以下几篇有了解:1、Apache Paimon 介绍2、Apache Paimon 基础概念3、Apache Paimon 文件布局设计4、知道如何在 Flink 中使用 Paimon创建 c...
原创
发布博客 2024.02.04 ·
1963 阅读 ·
15 点赞 ·
0 评论 ·
27 收藏

Apache Paimon 文件布局设计

Apache Paimon 介绍Apache Paimon 基础概念一张表的所有文件都存储在一个基本目录下,Paimon 文件以分层方式组织。从快照文件开始,可以递归地访问表中的所有记录。image.pngSnapshot Files所有的 snapshot 文件都存储在 snapshot 目录下,snapshot file 是一个包含了 snapshot 信息的 JSON 文件:使用的 Sche...
原创
发布博客 2024.02.01 ·
1770 阅读 ·
19 点赞 ·
0 评论 ·
11 收藏

Apache Paimon 基础概念

Snapshot快照(Snapshot)是在某个时间点上捕捉表状态的方式。用户可以通过最新的快照访问表的最新数据。通过时间回溯,用户还可以通过较早的快照访问表的先前状态。privatestaticfinalStringFIELD_VERSION="version";privatestaticfinalStringFIELD_ID="id";privatestatic...
原创
发布博客 2024.01.31 ·
562 阅读 ·
8 点赞 ·
0 评论 ·
10 收藏

Apache Paimon 介绍

从 Flink Table Store 演进而来Flink table store架构如下图:(和今天 Paimon 的架构相比,Log System 不再被推荐使用,Lake Store 的能力大幅强于 Log System,除了延时)2021 年 9 月,发布了 0.2 版本,陆续有在生产使用。Flink Table Store 是一个数据湖存储,用于实时流式 Changelog 写入 (比如...
原创
发布博客 2024.01.29 ·
2087 阅读 ·
19 点赞 ·
0 评论 ·
17 收藏

如何收集 Yarn/K8s 集群中的 Flink 任务日志?

背景不管是 Flink On Yarn 还是 On k8s,如果任务正常运行,我们是可以通过 Flink Web UI 去查看 JobManager 和 TaskManager 日志,虽然日志量大的时候去不同的 TaskManager 找日志有点困难(如何快速知道日志在哪个 TaskManager 上;在 TaskManager 里面可能有多个滚动的日志文件,如何快速找到 root cause 异常;如果 TaskManager OOM 掉了该容器的日志就看不到了),但是起码给了一个可以看日志的途径。熟
原创
发布博客 2023.03.24 ·
781 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏

如何收集 Yarn/K8s 集群中的 Flink 任务日志?

背景不管是 Flink On Yarn 还是 On k8s,如果任务正常运行,我们是可以通过 Flink Web UI 去查看 JobManager 和 TaskManager 日志,虽然日志量大的时候去不同的 TaskManager 找日志有点困难(如何快速知道日志在哪个 TaskManager 上;在 TaskManager 里面可能有多个滚动的日志文件,如何快速找到 root cause 异...
原创
发布博客 2023.03.17 ·
547 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

关闭 Flink Checkpoint,引发 P3 故障

记录一个比较有意义的故障,没遇到的可以避坑,已经被坑过的只能握手????了。背景因阿里云提示机器有故障,会在第二天早高峰自动重启,按照之前运维操作,提前做好通知后,在集群非高峰期将机器踢出集群。踢出集群时该机器上运行的 TaskManager Pod 会挂掉,Flink 会在其他正常机器上申请新的 TaskManager 运行,期间会有任务的 failover。操作后 10 来分钟看到公司大群有值班同事...
原创
发布博客 2022.11.10 ·
1188 阅读 ·
1 点赞 ·
0 评论 ·
2 收藏

Flink 中的 EventTimeTrigger 和 ProcessingTimeTrigger 详解

EventTimeTriggerEventTimeTrigger 的触发完全依赖 watermark,换言之,如果 stream 中没有 watermark,就不会触发 EventTimeTrigger。watermark 之于事件时间就是如此重要,来看一下 watermark 的定义先~Watermarks 是某个 event time 窗口中所有数据都到齐的标志。Watermarks 作为数据...
转载
发布博客 2022.11.03 ·
1071 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

重磅!Apache Flink 1.16 发布在即!众多新特性全面解读!

Apache Flink 继续快速发展,是 Apache 中最活跃的社区之一。Flink 1.16 有超过 230 名贡献者热情参与,完成了 19 个 FLIP 和 900+ 个问题,为社区带来了许多令人兴奋的功能。Flink 已经成为流处理的主角和事实标准,流批处理统一的概念正在逐渐获得认可,并在越来越多的公司中成功实施。此前,流批一体的概念更强调统一的API和统一的计算框架。今年,基于此,Fl...
转载
发布博客 2022.10.12 ·
3197 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

如何从0开始参与一个开源项目?

今天我准备和你详细介绍如何开始参与开源项目,帮助你在 GitHub 上完成第一个 PR 的合入。当然,除了正常的 PR 合入流程之外,我还准备详细介绍一下如果一个 PR 提交后遇到了冲突、需要追加 commits、需要合并 commits 等等相对复杂问题该如何解决。—1—为什么要参与开源项目本文我不打算长篇大论“为什么要参与开源”,详细介绍参与开源项目的收获,我想仅...
转载
发布博客 2022.08.01 ·
2380 阅读 ·
17 点赞 ·
0 评论 ·
70 收藏

现代数据架构选型:Data Fabric、Data Mesh

数据架构总是在更新迭代的路上,以使其快速适应变化的数据环境,更为敏捷和规模化地给业务部门交付数据。在传统的数据架构中,存在数据复杂度高、缺乏敏捷性、不便于协作、数据和一致性可解释性低下等问题。这些挑战阻碍了企业迈向数据驱动型企业的道路,也难以实现快速响应业务需求。在寻求最佳数据架构的过程中,Data Fabric 和 Data Mesh 常常被关注到,这两者乍一看很相似,...
转载
发布博客 2022.07.21 ·
588 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

官宣!Apache Doris 从 Apache 孵化器毕业,正式成为 Apache 顶级项目!

全球最大的开源软件基金会 Apache 软件基金会(以下简称 Apache)于美国时间 2022 年 6 月 16日 宣布,Apache Doris 成功从 Apache 孵化器毕业,正式成为 Apache 顶级项目(Top-Level Project,TLP)。以下内容译自 Apache Doris 官网(https://doris.apache.org/),点击“...
转载
发布博客 2022.06.17 ·
472 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

7000字,详解仓湖一体架构!

全文共7110个字,建议阅读15分钟在了解湖仓一体化之前,我们先来看一则有关数据仓库的有趣故事吧~沃尔玛拥有世界上最大的数据仓库系统,它利用数据挖掘方法对交易数据进行分析后发现"跟尿布一起购买最多的商品竟是啤酒!后来经过大量实际调查和分析,发现在美国,一些年轻的父亲下班后经常要到超市去买婴儿尿布,而他们中有30%~40%的人同时也为自己买一些啤酒,这是因为美国的太太们常叮...
转载
发布博客 2022.05.26 ·
1122 阅读 ·
0 点赞 ·
1 评论 ·
16 收藏

K8s 集群稳定性评估与大规模基础服务部署调优

【云原生】一文细数kubernetes常见20道问题彻底搞懂 K8S Pod Pending 故障原因及解决方案Kubernetes 架构核心点详细总结!顶级的Kubernetes日志监控工具Kubernetes 集群需要重点关注的 6 个指标如何优雅的限制 Kubernetes 节点上运行的 Pod 数量容器与Pod到底有什么区别和联系?如何调试Kubernetes集群...
转载
发布博客 2022.05.24 ·
1019 阅读 ·
1 点赞 ·
0 评论 ·
3 收藏

【云原生】一文细数kubernetes常见20道问题

1、K8S是什么?2、容器和主机部署应用的区别是什么?3、K8S架构的组成是什么?4、kubenetes针对pod资源对象的健康监测机制5、如何控制滚动更新过程?6、镜像下载策略是什么?7、image的状态有哪些?8、pod的重启策略是什么?9、K8S中部署应用版本回滚的命令10、标签和标签选择器的作用是什么?11、常用的标签分类有哪些?12、查看标签的方式?13、添加、...
转载
发布博客 2022.05.21 ·
319 阅读 ·
1 点赞 ·
0 评论 ·
2 收藏

Flink Table Store ——从计算到存储提升流批统一端到端用户体验

该项目用于在 Flink 中为流处理和批处理构建动态表,支持超大流量的数据提取和及时的数据查询。注意:该项目仍处于 beta 状态,正在快速发展,不建议直接在生产环境中使用它。Flink Table Store 介绍在过去的几年里,得益于 Flink 社区众多的贡献者和用户,Apache Flink 已经成为最好的分布式计算引擎之一,尤其是在大规模有状态流处理方面。然而,...
原创
发布博客 2022.05.12 ·
4220 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Flink Iceberg Source 并行度推断源码解析

Flink Hive Source 并行度推断源码解析批读 IcebergIceberg 提供了两个配置:publicstaticfinalConfigOption<Boolean>TABLE_EXEC_ICEBERG_INFER_SOURCE_PARALLELISM=ConfigOptions.key("table.exec.iceberg....
原创
发布博客 2022.05.11 ·
779 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Flink Hive Source 并行度推断源码解析

批读 HiveHiveOptions 中有两个配置publicstaticfinalConfigOption<Boolean>TABLE_EXEC_HIVE_INFER_SOURCE_PARALLELISM=key("table.exec.hive.infer-source-parallelism")...
原创
发布博客 2022.05.10 ·
854 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏
加载更多