啦啦乐乐-CSDN博客

原创 Hudi COW 两个用户同时写一张表会出现的问题

hudi 写文件时在timeline元数据目录 {basePath}/.hoodie 下的状态有三种任何时间都可以处于以下状态之一REQUESTED - 表示已调度但尚未启动的操作。INFLIGHT - 表示当前正在执行该操作。COMPLETED - 表示在时间轴上完成了该操作。写文件的时候会有以下步骤先写入 t1.commit.requested 表示该commit已经调度，但是尚未启动后写入 t1.inflight 表示该commit已经启动正在运行，该文件记录ru

2021-02-01 16:01:10 1113 2

原创 Hudi Java Client 测试

Hudi 0.7.0Hudi Jave Client 测试<dependency> <groupId>org.apache.hudi</groupId> <artifactId>hudi-java-client</artifactId> <version>0.7.0</version></dependency>将hudi 0.7 版本编译好的 hudi-example-0.7.0

2021-02-01 15:53:30 3481 5

原创 Hudi Hive Sync 实操

文章目录Maven配置数据准备测试数据建表测试数据入库Sync Copy_on_WriteHudi新增同步Hive查看写入hive的表结构查看写入hive的数据查看hdfs目录结构Hudi更新同步Hive查看更新后的数据读取Hudi增量视图增量视图读取结果Maven配置<dependencies> <dependency> <groupId>org.apache.hudi</groupId> <artifact

2020-08-06 18:51:32 3784

原创 Delta Lake 基本操作(Scala)

文章目录Maven配置数据源Source表Merge表操作生成Delta表Update数据Delete数据Merge数据问题版本回溯(Time Travel)查看版本号为0的数据查看版本号为3的数据并发写入测试操作相同数据操作不同数据原因详情见官方文档Maven配置<!-- https://mvnrepository.com/artifact/io.delta/delta-core --...

2019-11-14 11:50:48 1247

原创 Azure Blob Storage 基本用法上传/下载(Java)

文章目录简单概念Blob StorageAzure Blob Storage的存储结构Azure Storage AccountContainerBlob操作Maven依赖创建Container对象获取Blob列表下载Blob本地文件上传测试简单概念Blob StorageAzure Blob Storage是用来存放文本,图片,视频等非架构华数据从存储服务, 我们可以在任何地方通过http...

2019-10-12 16:28:04 8604 2

原创 Hudi Flink Sql

Maven<properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <encoding>UTF-8</encoding> <scala.version>2.11.8</scala.version>

2021-04-23 15:29:50 1399 2

原创 Hudi 问题集合持续更新..

文章目录1. Hudi 同步 Hive 的两种方式1. Hudi 同步 Hive 的两种方式1. JDBC option(DataSourceWriteOptions.HIVE_URL_OPT_KEY, "jdbc:hive2://localhost:10000")2. Metastore option(DataSourceWriteOptions.HIVE_URL_OPT_KEY, "jdbc:hive2://localhost:10000") option(DataSourceWriteO

2020-11-09 18:14:34 367

原创 Java读取yml文件

之前在工作中遇到要将公司框架中的properties配置文件改成yaml, 在网上搜了一些资料关于yaml文件的特性, 这里就不写了, 自己去查资料吧直接上代码maven依赖<dependency> <groupId>org.yaml</groupId> <artifactId>snakeyaml</artifactId> ...

2019-10-10 17:16:12 2839 1

原创线程池学习

文章目录创建线程线程池线程池是生产者 - 消费者模式如何使用Java中的线程池容易混淆的参数任务队列, 核心线程数, 最大线程数的逻辑关系注意Java中的线程池详解Executors提供的工厂方法newCachedThreadPool()newFiexedThreadPool()newSingleThreadExecutor()newScheduledThreadPool()newSingleT...

2019-10-10 14:39:45 120

原创 HDFS相关基础知识

文章目录NameNode详情NameNode职责DataNode职责读写流程写流程读流程HDFS启动流程NameNode和SecondaryNameNode的工作机制checkpoint操作的触发条件配置参数（hdfs-site.xml）DataNode工作机制注意NameNode详情存着元数据，元数据包括目录树和DataNode信息池NameNode职责响应客户端的请求维护元...

2019-01-08 08:47:08 138

乐乐的博客