- 博客(139)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Flink用户自定义连接器（Table API Connectors）学习总结
结合官网文档和自定义实现一个，来学习总结Flink用户自定义连接器（Table API Connectors）。实心箭头展示了在转换过程中对象如何从一个阶段到下一个阶段转换为其他对象。需要实现 org.apache.flink.table.factories.DynamicTableSourceFactory 接口完成一个工厂类，来生产 DynamicTableSource 类。. . .
2023-05-24 11:36:44
644
1
原创 Flink Hudi DataStream API代码示例
总结Flink通过DataStream API读写Hudi Demo示例，主要是自己备忘用。最开始学习Flink时都是使用Flink SQL,所以对于Flink SQL读写Hudi比较熟悉。但是对于写代码实现并不熟悉，而有些需求是基于Flink代码实现的，所以需要学习总结一下。仅为了实现用代码读写Hudi的需求，其实有两种方式，一种是在代码里通过Flink SQL API，也就是代码中执行Flink SQL，这种方式其实和通过SQL实现差不多，另一种方式是通过DataStream API实现。
2023-05-22 10:47:19
431
原创 Flink MySQL CDC 使用总结
学习总结Flink MySQL CDC，主要目的是同步MySQL数据至其他数据源如Hudi、MySQL等，本文主要以 MySQL2Hudi、MySQL2MySQL两个场景进行示例验证。
2023-04-03 19:15:12
1576
4
原创 Flink SQL Checkpoint 学习总结
学习总结Flink SQL Checkpoint的使用，主要目的是为了验证Flink SQL流式任务挂掉后，重启时还可以继续从上次的运行状态恢复。对于flink sql读取mysql，设置checkpoint恢复不生效（不是flink cdc）checkpoint 一个时间间隔内只有一个批次，这样才能保证eos,时间间隔大小影响写入性能。
2023-03-03 14:31:16
3519
原创 Flink SQL增量查询Hudi表
前面总结了Spark SQL增量查询Hudi表和Hive增量查询Hudi表。最近项目上也有Flink SQL增量查询Hudi表的需求，正好学习总结一下。地址：https://hudi.apache.org/cn/docs/querying_data#incremental-query用show_commits看一下有哪些commits（这里查询用的是Hudi的master，因为show_commits是在0.11.0版本开始支持的，也可以通过使用hadoop命令查看.hoodie文件夹下的.commit文
2022-12-08 07:00:00
2052
41
原创 Spark SQL增量查询Hudi表
Hive增量查询Hudi表。最近可能会有Spark SQL增量查询Hudi表的需求，并且我发现目前用纯Spark SQL的形式还不能直接增量查询Hudi表，于是进行学习总结一下。本文总结了Spark SQL增量查询Hudi表的一些参数设置，并给出了示例，介绍了使用纯Spark SQL实现增量查询Hudi表的几种方式，不确定未来社区会采用哪种方式，大家目前如果有这种需求的话，可以先选择一种自己喜欢的方式，等未来社区版本支持后，再升级版本。
2022-12-01 08:07:23
3294
58
原创 Flink SQL操作Hudi并同步Hive使用总结
记录总结自己第一次如何使用Flink SQL读写Hudi并同步Hive，以及遇到的问题及解决过程。关于Flink SQL客户端如何使用可以参考：Flink SQL 客户端查询Hive配置及问题解决Flink 1.14.3Hudi 0.12.0/0.12.1本文采用Flink yarn-session模式，不会的可以参考之前的文章。下载地址：https://repo1.maven.org/maven2/org/apache/hudi/hudi-flink1.14-bundle/0.12.1/hudi-fli
2022-11-01 07:00:00
4726
129
原创 开源经验分享 | 如何从一名小白成为Apache Hudi Contributor
参与Apache Hudi开源有一年多的时间了，马上1024了，虽然距离成为Apache Hudi Commiter还有很遥远的距离，但还是想跟大家分享一下自己的开源经验，讲一下自己如何从开源小白成为Apache Hudi Contributor的。
2022-10-22 21:20:24
2489
130
原创 Hudi Spark SQL总结
前言总结Hudi Spark SQL的使用，本人仍然以Hudi0.9.0版本为例，也会稍微提及最新版的一些改动。Hudi 从0.9.0版本开始支持Spark SQL，是由阿里的pengzhiwei同学贡献的，pengzhiwei目前已不负责Hudi,改由同事YannByron负责，现在又有ForwardXu贡献了很多功能特性，目前好像主要由ForwardXu负责。三位都是大佬，都是Apache Hudi Committer，膜拜大佬，向大佬学习！！！大佬的github:彭志伟（阿里） pengzhi
2022-05-18 20:39:38
1130
32
原创 Spark UDF使用详解及代码示例
本文介绍如何在Spark Sql和DataFrame中使用UDF，如何利用UDF给一个表或者一个DataFrame根据需求添加几列，并给出了旧版（Spark1.x）和新版（Spark2.x）完整的代码示例。下面以Spark2.x为例给出代码，关于Spark1.x创建DataFrame可在最后的完整代码里查看。2、Spark Sql用法...
2018-08-03 09:17:53
31847
14
原创 通过数据库客户端界面工具DBeaver连接Hive
本文讲解如何通过数据库客户端界面工具DBeaver连接hive，并解决驱动下载不下来的问题。为什么使用客户端界面工具而不用命令行使用hive其实在网上搜一下，连接hive的工具还有很多，使用DBeaver的原因是因为我之前连接关系型数据库使用的就是DBeaver，正好DBeaver支持连接hive，且个人认为DBeaver确实挺好用的，支持各...
2018-08-03 09:16:25
26100
3
原创 Spark DataFrame按某列降序排序
本文总结如何将DataFrame按某列降序排序，因为Spark默认的排序方式为升序，而降序的用法和java语言等又不一样，所以需要特地总结记录一下其用法。2、默认的升序排序效果(按col2排序，以下都是)3、降序方法一这个方法在前面加上负号-即可，看起来挺简单的，但是其实这种方法不能在第一次构建df的时候进行排序，必须先创建...
2018-07-08 19:56:00
36669
2
原创 Spark 持久化（cache和persist的区别）
转载请务必注明原创地址为：https://dongkelun.com/2018/06/03/sparkCacheAndPersist/1、RDD 持久化Spark 中一个很重要的能力是将数据持久化（或称为缓存），在多个操作间都可以访问这些持久化的数据。当持久化一个 RDD 时，每个节点的其它分区都可以使用 RDD 在内存中进行计算，在该数据上的其他 action 操作将直接使用内存中的数据......
2018-06-20 10:18:55
26152
7
原创 利用ogg实现oracle到kafka的增量数据实时同步
ogg即Oracle GoldenGate是Oracle的同步工具，本文讲如何配置ogg以实现Oracle数据库增量数据实时同步到kafka中，其中同步消息格式为json。下面是我的源端和目标端的一些配置信息：可在这里或旧版本查询下载注意：源端和目标端的文件不一样，目标端需要下载Oracle GoldenGate for Big Data,......
2018-05-25 09:50:49
53846
40
原创 Linux安装MongoDB数据库并内网穿透在外远程访问
MongoDB是一个基于分布式文件存储的数据库。由 C++ 语言编写，旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。它最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。本次教程我们将在Linux centos服务器上安装部署Mongodb数据库，同时使用cpolar进行内网穿透，实现即使在外也可以远程连接访问Mongodb数据库。
2023-05-23 12:48:14
441
6
原创 Hudi Spark SQL Call Procedures学习总结（一）（查询统计表文件信息）
学习总结Hudi Spark SQL Call Procedures，Call Procedures在官网被称作存储过程（Stored Procedures），它是在Hudi 0.11.0版本由腾讯的ForwardXu大佬贡献的，它除了官网提到的几个Procedures外，还支持其他许多Procedures命令。本文先学习其中的几个我觉得比较常用的命令，主要是查询统计表路径下的各种文件信息。
2022-11-25 07:00:00
1118
38
原创 Hudi源码 | Insert源码分析总结（二）(WorkloadProfile)
Hudi源码 | Insert源码分析总结（一）(整体流程)，继续进行Apache Hudi Insert源码分析总结，本文主要分析上文提到的关于的分析一共就这么多，主要是统计record中每个分区路径对应的insert/upsert数量以及upsert数据对应的fileId和,先持久化到.inflight文件中，然后给后面的使用。关于统计的这些信息是如何在中使用的，我们放在下篇文章中分析。
2022-11-17 07:00:00
1822
81
原创 Hudi源码|Insert源码分析总结（一）(整体流程)
Hudi Java Client总结|读取Hive写Hudi代码示例。以Java Client为例的原因：1、自己生产上用的Java Client，相比于Spark客户端更熟悉一点。2、Java Client和Spark、Flink客户端核心逻辑是一样的。不同的是比如Spark的入口是DF和SQL，多了一层API封装。3、Java Client更贴近源码，可以直接分析核心逻辑。不用剖析Spark、Flink源码。对Sprk、Flink源码不熟悉的更容易上手。
2022-11-11 07:00:00
1934
104
原创 Flink SQL通过Hudi HMS Catalog读写Hudi并同步Hive表（强烈推荐这种方式）
上篇文章Flink SQL操作Hudi并同步Hive使用总结总结了如何使用Flink SQL读写Hudi并同步Hive，介绍了创建表的各种方式，但是每一种方式都不太完美。本文介绍一种比较完美的方式，通过Hudi HMS Catalog读写Hudi并同步Hive表，这里的Hudi HMS Catalog实际上就是通过上篇文章最后提到的。
2022-11-03 07:00:00
2307
76
原创 Hudi master 0.13.0-SNAPSHOT Win10 打包异常解决
我一直是在Win10本地编译Hudi包的，因为这样可以直接在IDEA里修改并调试源码，但是前段时间打包Hudi master代码时，发现在Win10 本地打包出现了异常，原因是因为这个PR：[https://github.com/apache/hudi/pull/6135](https://github.com/apache/hudi/pull/6135) 引入了proto,需要使用protoc编译`.proto`文件，使用的是maven的protoc-jar-maven-plugin，但是通过maven下
2022-11-03 06:45:00
442
32
原创 Hudi Java Client总结|读取Hive写Hudi代码示例
Hudi除了支持Spark、Fink写Hudi外，还支持Java客户端。本文总结Hudi Java Client如何使用，主要为代码示例，可以实现读取Hive表写Hudi表。当然也支持读取其他数据源，比如mysql，实现读取mysql的历史数据和增量数据写Hudi。
2022-10-27 16:43:54
2519
85
原创 Hudi源码|bootstrap源码分析总结（写Hudi）
利用Hudi Bootstrap转化现有Hive表的parquet/orc文件为Hudi表本文简单的对Hudi bootstrap的一些关键的源码逻辑进行了分析，希望能对大家有所帮助。限于精力及能力的原因，有些地方可能不够深入，或者不对的地方，还请大家多多指正，让我们共同进步。
2022-10-18 10:38:36
1802
134
原创 写Hudi异常：‘Not an Avro data file‘ 解决方法
记录写Hudi时的一个异常的解决方法，其实这个异常从去年就发现并找到解决方法了，而且已经提交到社区merge了，PR：[HUDI-2675] Fix the exception ‘Not an Avro data file’ when archive and clean。之所以现在又要总结这个异常的处理方法是因为:我们生产环境用的 Hudi0.9.0版本，且没有升级，因为升级Hudi版本可能会有不兼容的问题，需要测试，比较费时，所以目前还没有升级版本，而这个PR合入的版本为0.11.0，所以本文主要总结在0
2022-10-14 17:23:42
662
20
原创 利用Hudi Bootstrap转化现有Hive表的parquet/orc文件为Hudi表
在最开始学习Hudi源码时，就发现了Hudi有一个Bootstrap功能，但是一直没用过，通过官网文档可知,它可以将现有的表件转化为Hudi表，而且有两种类型和，但是文档并不详细，比如这两种类型的区别具体是啥，支持哪些文件类型的源表。于是带着这些疑问来学习一下它是如何使用的以及源码原理的实现，这样可以更全面的了解Hudi。本文介绍了如何利用Hudi Bootstrap转化现有Hive表为Hudi表，提供了完整的代码示例，并分析了和。
2022-10-12 16:25:50
966
20
原创 Spark 读写 Ceph S3入门学习总结
主要总结了Spark读写Ceph S3文件的配置和代码示例，以及一些异常的解决方法，希望能对大家有所帮助。
2022-09-29 19:55:26
374
2
原创 Flink SQL 客户端查询Hive配置及问题解决
记录博主第一次使用Flink SQL查询Hive的配置以及问题解决过程flink-1.14.3，这里使用kyuubi1.5.2自带的FlinkHDP环境，Hadoop、Hive等已经安装配置好export HADOOP_CLASSPATH=可以添加在比如/ect/profile里，这样等于修改全局的环境，如果想只对Flink生效，可以添加在bin/config.sh文件里jar包 下载地址：https://repo1.maven.org/maven2/org/apache/flink/flink-con
2022-08-27 15:50:32
1432
1
原创 Hudi Spark SQL源码学习总结-select（查询）
上一篇文章Hudi Spark源码学习总结-spark.read.format(“hudi”).load分析了load方法直接查询Hudi表路径的源码逻辑，那么Spark SQL select 表名的方式和load最终走的逻辑是一样的吗？本文带着这个疑问来分析一下select查询Hudi表的源码逻辑通过上面的分析，我们发现Spark查询Hudi表不管是通过load的方式还是通过sqlselect的方法最终走的逻辑都是一样的。都是先查找source=hudi的DataSource，Spark2对应的为。...
2022-08-17 09:52:25
414
1
原创 Hudi Spark源码学习总结-spark.read.format(“hudi“).load（2）
补充上一篇文章Hudi Spark源码学习总结-spark.read.format(“hudi”).load，由于上篇文章篇幅已经比较长了，所以单独写一篇补充一下，没有读过的可以先阅读一下，我们在上篇文章讲到返回的是，那么如果返回呢?本文总结了使用和的原因以及使用时查询Hudi的逻辑，知道了在使用是通过buildScan实现查询的。我在文章学习时，了解到是通过调用buildScan方法来获取数据源的RDD,所以也想看一下的buildScan方法是否也会在查询时用到以及什么情况下会用到，现在还不确定它和。..
2022-08-15 14:59:59
536
1
原创 Hudi Spark源码学习总结-spark.read.format(“hudi“).load
由于工作原因，之前查询Hudi主要是用Hive来查询的，所以对Hive查询Hudi的逻辑比较了解，但是对于Spark查询Hudi的逻辑不太了解。所以现在想要学习一下Spark查询Hudi的大概逻辑，搞清楚它是如何从Spark的源码跳转到Hudi源码执行Hudi查询的逻辑， 这样既能搞清楚Spark查询表的逻辑，也能搞清楚Spark查询Hudi的逻辑，也便于再后面使用Kyuubi Spark SQL 时出现问题能更好的定位解决。...
2022-08-11 15:11:27
772
1
原创 Hudi Spark源码学习总结-df.write.format(“hudi“).save
在开始学习Hudi的时候，我们知道通过可以实现写Hudi，并且写Hudi的逻辑是在实现的，但是始终有一个疑问：它怎么从跳到中的呢？本文就是主要来回答这个问题的。本文分析总结了从到的调用逻辑，解决了自己最开始学习Hudi时的一个疑惑😄,希望对大家也能有所帮助。......
2022-08-03 18:37:45
741
1
原创 Hudi Spark SQL源码学习总结-CTAS
上一篇文章Hudi Spark SQL源码学习总结-Create Table总结了Create Table的源码执行逻辑，这一篇继续总结CTAS，之所以总结CTAS，是之前在我提交的一个PR中发现，Spark2和Spark3.2.1版本的CTAS的逻辑不一样，最终走的Hudi实现类也不一样，所以本文分Spark2和Spark3.2.1两个版本分析......
2022-08-01 10:39:16
697
1
原创 Hudi Spark SQL源码学习总结-Create Table
简要总结HudiSparkSql源码执行逻辑，从建表开始。其实从去年开始接触Hudi的时候就研究学习了HudiSparkSQL的部分源码，并贡献了几个PR，但是完整的逻辑有些地方还没有完全梳理清楚，所以现在想要从头开始学习，搞懂一些知识难点，这样以后看相关源码的时候就不会导致因为一些关键点不懂影响进度。由于本人能力和精力有限，本文只讲解自己觉得比较关键的点，主要目的是梳理整个流程。搞懂了SparkSQL默认的sqlParser为,那么Hudi是一样的吗？那我们就需要看一下开始的这里的f为为。...
2022-07-22 09:19:31
1041
1
原创 Spark3.12+Kyuubi1.5.2+kyuubi-spark-authz源码编译打包+部署配置HA
记录Spark3.1.2+Kyuubi1.5.2从源码打包到部署配置过程，虽然之前总结过一篇Kyuubi配置的文章：Kyuubi 安装配置总结，但是这次和之前还是有不同的:先讲完整的配置，再讲如何编译打包前提：我的环境上有一个ambari自带的Spark2.4.5，路径解压Spark3.1.2的tgz包，将其放到路径 (新建临时目录)，并改名为spark3,然后拷贝之前spark2的配置到spark3的配置目录中,已经存在的模板，输入不用覆盖如果是在windows上自己打的包，传到服务器Linux上可能存
2022-07-12 11:08:59
1297
7
原创 Hudi查询类型/视图总结
上面文章Hive增量查询Hudi表提到Hudi表有读优化视图和实时视图，其实当时并没有完全掌握，所以现在单独学习总结。Hudi官网文档中文称之为视图，其实英文为query types翻译过来为查询类型Hudi 支持下面三种视图Snapshot Queries 快照查询/实时视图 Queries see the latest snapshot of the table as of a given commit or compaction action. In case of merge on read tab
2022-07-04 19:47:39
737
1
原创 Hive增量查询Hudi表
简单总结如何利用Hive增量查询Hudi表我们在写数据时，可以配置同步Hive参数，生成对应的Hive表，用来查询Hudi表，具体来说，在写入过程中传递了两个由命名的Hive表。 例如，如果，我们得到 实现了由 支持的数据集的读优化视图，从而提供了纯列式数据。 实现了由 支持的数据集的实时视图，从而提供了基础数据和日志数据的合并视图。其中实时视图表只有在MOR表同步Hive元数据时才会有按照我之前总结的Apache Hudi 入门学习总结中Hive和Tez部分配置，就可以在Hive命令行里用Hive
2022-06-27 16:22:16
1446
2
原创 Hadoop源码编译打包
记录总结Hadoop源码编译打包过程，根据源码里的文档，一开始以为不支持在Windows系统上打包，只支持Unix和Mac，所以这里我在自己虚拟机centos7系统上编译，后来在文档后面部分才发现也支持在Windows上编译，不过还需要安装Visual Studio 2010，可能不如还不如在虚拟机上编译简单，如果想尝试在Windows上编译，可以看源码里的文档中的部分因之前没有下载过hadoop的源码，所以需要先下载hadoop的源码git命令克隆源码，克隆的过程中可能会有异常：因文件名过长，不能创建
2022-06-26 19:52:42
611
1
原创 Hudi DeltaStreamer使用总结
总结如何利用Hudi DeltaStreamer工具从外部数据源读取数据并写入新的Hudi表，是hudi-utilities-bundle的一部分，按照Apache Hudi 入门学习总结,将hudi-spark-bundle包拷贝至$SPARK_HOME/jars目录下即可。提供了从DFS或Kafka等不同来源进行摄取的方式，并具有以下功能。命令行选项更详细地描述了这些功能：最新版本应该支持了更多参数，可以查阅官网：https://hudi.apache.org/cn/docs/hoodie_delta
2022-06-24 14:00:28
907
kafka 权威指南
2018-08-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人