![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据湖踩坑实例
数据湖填坑
这个作者很懒,什么都没留下…
展开
-
flink1.12.2+hudi0.9.0测试
1.环境准备1.1、flink1.12.21.1.1 编译包下载:https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.12.2/flink-1.12.2-bin-scala_2.11.tgz1.1.2 flink的部署可参考上篇:https://blog.csdn.net/weixin_49218925/article/details/1155110221.2、hudi0.9.0已发布,可直接下载hudi-flink-bundle_2原创 2022-02-18 11:17:10 · 1052 阅读 · 2 评论 -
flinksql写入hudi 踩坑实录
flinksql写入hudi测试环境:Flink 1.11.1 hudi 0.8.0Hadoop 3.0.0 Hive 2.1.1准备工作:1.安装flink 1.11.1,要下载带hadoop版本的;2.下载hudi-flink-bundle_2.1?.jar,并放入$FLINK_HOME/lib下。下载地址: https://repo.maven.apache.org/maven2/org/apache/hudi/hudi-flink-bundle_2.11/具体实施步骤:原创 2021-04-08 15:17:29 · 4779 阅读 · 2 评论 -
Flinksql读取Kafka写入Iceberg 实践亲测
1. Presto简介1 Presto概念Presto是 Facebook 推出的一个开源的分布式SQL查询引擎,数据规模可以支持GB到PB级,主要应用于处理秒级查询的场景。Presto 的设计和编写完全是为了解决像 Facebook 这样规模的商业数据仓库的交互式分析和处理速度的问题。注意: 虽然 Presto 可以解析 SQL,但它不是一个标准的数据库。不是 MySQL、Oracle 的代替品,也不能用来处理在线事务(OLTP)。1.2 Presto 应用场景Presto 支持在线数据原创 2021-04-06 18:26:01 · 1783 阅读 · 3 评论 -
测试hudi-0.7.0对接spark structure streaming
测试hudi-0.7.0对接spark structure streaming测试环境Hudi version :0.7.0Spark version :2.4.0Hive version :2.1.1Hadoop version :3.0.0Storage (HDFS/S3/GCS..) :HDFSRunning on Docker? (yes/no) :no测试内容表类型:copy on write插入方式:bulkinsert控制文件大小:clustering配置是否同步hi原创 2021-03-05 16:11:02 · 602 阅读 · 0 评论 -
iceberg对接flinksql测试
Apache Iceberg对接Flinksql测试Apache Iceberg简介我们可以简单理解为他是基于计算层(flink , spark)和存储层(orc,parqurt)的一个中间层,我们在hive建立一个iceberg格式的表。用flink或者spark写入iceberg,然后再通过其他方式来读取这个表,比如spark,flink,presto等。○ 在文件Format(parquet/avro/orc等)之上实现Table语义。 ■ 支持定义和变更Schema ■ 支持Hidd原创 2021-03-05 11:30:29 · 1660 阅读 · 7 评论