![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Apache Hudi
Apache Hudi
努力的平平
正在学习大数据计数,热衷于Spark学习
展开
-
4、Apache Hudi:Spark读取Binlog并写入
1、数据准备使用canal将mysql binlog的数据发送到kafka中2、程序编写1、消费kafka中的binlog数据val kafkaParams = Map[String, String]( "bootstrap.servers" -> "xxx.xxx.xxx.xxx:9092", "auto.offset.reset" -> "latest", "key....原创 2019-12-11 15:11:45 · 3299 阅读 · 7 评论 -
2、Apache Hudi入门
1、编译github地址:https://github.com/apache/incubator-hudicd incubator-hudi-hoodie-0.4.7mvn clean install -DskipITs -DskipTests -Dhadoop.version=2.6.0-cdh5.13.0 -Dhive.version=1.1.0-cdh5.13.02、...原创 2019-12-11 14:23:20 · 2476 阅读 · 1 评论 -
1、Apache Hudi简介
参考文档:https://www.iteblog.com/archives/9660.html原创 2019-12-11 14:22:40 · 6896 阅读 · 0 评论