spark_dev的博客

了解iceberg的特性后，把视野放到行业，看看行业的湖仓一体架构上怎么的，作者主要分析：微视、爱奇艺、小米、网易严选的架构

对iceberg checkpoint时间设置，有疑问，官方建议至少一分钟，行内各个大公司配多久呢？作者，专门学习各个公司在datafund上的分享以及网络文章，记录几个大公司的配置时间

iceberg的sql化运维（合并文件、合并元数据、清理历史快照)

flink sql 中kafka 表join mysql表，发现无法检测到mysql表到新增、update, 百度多篇文章，写得好像可以解决问题，但又没有详细的解决方法步骤，故而写本人，期后来者以填坑。本文记录测试思路、流程与结论。测试结论：1.kaka做为驱动表源，可以通过lookup的方式，感知mysql维表的变化 2.iceberg表无法使用lookup方式，不能通过lookup感知mysql维表的变化

分析hive_iceberg_catalog.system.expire_snapshots()命令前后，数据湖表底层发生的变更

从kafka源写入iceberg，会生成大量的小文件，合并小文件，有代码的方式，spark3结合iceberg0.11后，支持使用sql方式实现文件治理，本文记录 expire_snapshots,rewrite_manifests的运行效果与底层文件的变化

测试 iceberg读取kafka的数据，能否根据kafka上的id，入湖时，自动更新iceberg的数据，对这个场景进行测试测试结果：不能

续上一课，计算一个PV的，案例，最终把结果更新到MYSQL本文测试如下语法是否增量更新insert into default_catalog.default_database.mysql_pv select dt, cast(count(*) as int) as pv from hive_iceberg_catalog.ods_base.IcebergSink_XXZH /*+ OPTIONS('streaming'='true', 'monitor-interval'='1s')*/ where

上一课中，讲到增量更新，小弟的boss问到，增量实现，是读增量数据还是把历史数据也重新读了一次？ 暴击，按照我的理解，就是读增量。。。，大佬是不认按照理解的！ 好吧，测试一下，故有本文，读者感到我滴血的心嘛，试问大家有没有这种经历。。。......

lambda架构中， kafka->flink中支持 各种流函数，数据入iceberg后，如何对icberg进行流操作，实现类似流函数的结果？基于数据湖的流批一体是什么意思？

需要flink支持类似hive的get_json_object的功能，又不想自定义function, 有什么办法？目前用flink1.13.5版本，看官网，自带function都没有这个函数，于是发现了新版本flink1.14提供了这些功能，于是有了升级的冲动。。。

问题： flink的sql-client上，创建表，只是当前session有用，退出回话，需要重新创建表。多人共享一个表，很麻烦，有什么办法？解决方法：把建表的DDL操作，持久化到HIVE上，由hive来管理。如何实现呢？ 使用hive catalog，在hive catalog下创建表。所有表都是持久化的。

flink重启，需要从checkpoint恢复。涉及到任务工程化管理，自研一套这种工具，很耗时，对小公司来说，吃力不讨好，所有寻找了个开源方案， 测试flink-streaming-platform-web ，支持sql,jar，各种集群模式提交，亲测可用

mysql->flink-sql-cdc->iceberg。从flink查数据时间没问题，从spark-sql查，时区+8了。对这个问题进行记录最后解决方案： 源表没有timezone, 下游表需要设置local timezone，这样就没问题了！

提交一个flink作业，希望获取这个作业的jobId,以便后续程序监控，例如获取checkpoint路径，从checkpoint点重启

**问题**： iceberg很多包，maven仓库没有，但iceberg提供了，通过pom编译打包，报错，原因是maven仓库没有这个包。**解决方法**：把这些包通过maven命令把包打到本地仓库

程序化部署，测试flink cdc重启恢复测试思路：1.程序停止时，进行checkpoint记录，记录checkpoint的位置 2.程序停止时，写入数据， 记录写入的数据， 测试重启后，能否从故障点开始恢复。结论：能

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言checkpoint设置方法一、pandas是什么？二、使用步骤1.引入库2.读入数据3.总结前言checkpoint设置方法提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？ StreamExecutionEnvironment

系列文章目录实践数据湖iceberg 第一课 入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）实践数据湖iceberg 第五课 hive catalog特点实践数据湖iceberg 第六课 从kafka写入到iceber

本文彻底解释 iceberg元数据 存储细节实践数据湖icerberg专栏本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知

成功测试flink-sql以非jar包的方式从checkpoint重启，完成故障恢复测试实践数据湖icerberg专栏本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知

成功测试 flink+mysql-cdc+iceberg数据湖的CRUD实践数据湖icerberg专栏本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知

实践数据湖icerberg专栏本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知

实践数据湖icerberg专栏本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知

实践数据湖icerberg专栏本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知

实践数据湖icerberg专栏本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知

系列文章目录实践数据湖iceberg 第一课 入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）实践数据湖iceberg 第五课 hive catalog特点实践数据湖iceberg 第六课 从kafka写入到iceber

实践数据湖icerberg专栏本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知

系列文章目录实践数据湖iceberg 第一课 入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）实践数据湖iceberg 第五课 hive catalog特点实践数据湖iceberg 第六课 从kafka写入到iceber

系列文章目录实践数据湖iceberg 第一课 入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）实践数据湖iceberg 第五课 hive catalog特点实践数据湖iceberg 第六课 从kafka写入到iceber

系列文章目录实践数据湖iceberg 第一课 入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）实践数据湖iceberg 第五课 hive catalog特点实践数据湖iceberg 第六课 从kafka写入到iceber

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录iceberg小文件合并后出现的问题总结iceberg小文件合并后出现的问题[root@hadoop103 ~]# hadoop fs -du -h /user/hive/warehouse/hive_catalog6/iceberg_db6.db/behavior_l

系列文章目录实践数据湖iceberg 第一课 入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）实践数据湖iceberg 第五课 hive catalog特点实践数据湖iceberg 第六课 从kafka写入到iceber

系列文章目录实践数据湖iceberg 第一课 入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）实践数据湖iceberg 第五课 hive catalog特点实践数据湖iceberg 第六课 从kafka写入到iceber

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言1. 合并小文件二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考

系列文章目录实践数据湖iceberg 第一课实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）实践数据湖iceberg 第五课 hive catalog特点实践数据湖iceberg 第六课 从kafka写入到iceberg失败

系列文章目录提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言1. 制造数据2. 通过flume把制造的数据，写入到kafka2.1 flume把日志直接写到kafka的配置文件2.2 准备启动flume agent的脚本2.3 检查是否写入到kafka3.把kakfa的行为数据入湖3.1.定义kafka表3.1.1 使用csv格式读取看看3.1.2 使用raw格式读取看看3.2 定义iceberg表3.3 kafka表入到iceberg4.观察生成的数据5.

实践数据湖iceberg 系列文章目录文章目录实践数据湖iceberg 系列文章目录前言1. 解决方案2. 重跑flink sql总结前言遇到的问题： 前面3节课，从kafka读数据写入到iceberg，不报错，就是没有数据写成功，多次查看官网 https://iceberg.apache.org/#flink/， 没有解决方案。终极解决方案： 增加chepoint配置。没有checkpoint，就没有输出吐槽： 只看官网，就是笨蛋， 估计官网写文档的人都没有实践过，是否换个人去写官

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录版本一、启动flink sql2. 建kafka表3. 读kafka的数据写入到kafka2.读入数据总结版本flink-1.12.7-bin-scala_2.12flink-sql-connector-hive-2.3.6_2.12-1.12.7.jarkafka_