乐乐的博客

Maven<properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <encoding>UTF-8</encoding> <scala.version>2.11.8</scala.version>

hudi 写文件时在timeline元数据目录 {basePath}/.hoodie 下的状态有三种任何时间都可以处于以下状态之一REQUESTED - 表示已调度但尚未启动的操作。INFLIGHT - 表示当前正在执行该操作。COMPLETED - 表示在时间轴上完成了该操作。写文件的时候会有以下步骤先写入 t1.commit.requested 表示该commit已经调度，但是尚未启动后写入 t1.inflight 表示该commit已经启动正在运行，该文件记录ru

Hudi 0.7.0Hudi Jave Client 测试<dependency> <groupId>org.apache.hudi</groupId> <artifactId>hudi-java-client</artifactId> <version>0.7.0</version></dependency>将hudi 0.7 版本编译好的 hudi-example-0.7.0

文章目录1. Hudi 同步 Hive 的两种方式1. Hudi 同步 Hive 的两种方式1. JDBC option(DataSourceWriteOptions.HIVE_URL_OPT_KEY, "jdbc:hive2://localhost:10000")2. Metastore option(DataSourceWriteOptions.HIVE_URL_OPT_KEY, "jdbc:hive2://localhost:10000") option(DataSourceWriteO

文章目录Maven配置数据准备测试数据建表测试数据入库Sync Copy_on_WriteHudi新增同步Hive查看写入hive的表结构查看写入hive的数据查看hdfs目录结构Hudi更新同步Hive查看更新后的数据读取Hudi增量视图增量视图读取结果Maven配置<dependencies> <dependency> <groupId>org.apache.hudi</groupId> <artifact

文章目录Maven配置数据源Source表Merge表操作生成Delta表Update数据Delete数据Merge数据问题版本回溯(Time Travel)查看版本号为0的数据查看版本号为3的数据并发写入测试操作相同数据操作不同数据原因详情见官方文档Maven配置<!-- https://mvnrepository.com/artifact/io.delta/delta-core --...

文章目录简单概念Blob StorageAzure Blob Storage的存储结构Azure Storage AccountContainerBlob操作Maven依赖创建Container对象获取Blob列表下载Blob本地文件上传测试简单概念Blob StorageAzure Blob Storage是用来存放文本,图片,视频等非架构华数据从存储服务, 我们可以在任何地方通过http...

之前在工作中遇到要将公司框架中的properties配置文件改成yaml, 在网上搜了一些资料关于yaml文件的特性, 这里就不写了, 自己去查资料吧直接上代码maven依赖<dependency> <groupId>org.yaml</groupId> <artifactId>snakeyaml</artifactId> ...

文章目录创建线程线程池线程池是 生产者 - 消费者模式如何使用Java中的线程池容易混淆的参数任务队列, 核心线程数, 最大线程数的逻辑关系注意Java中的线程池详解Executors提供的工厂方法newCachedThreadPool()newFiexedThreadPool()newSingleThreadExecutor()newScheduledThreadPool()newSingleT...

文章目录NameNode详情NameNode职责DataNode职责读写流程写流程读流程HDFS启动流程NameNode和SecondaryNameNode的工作机制checkpoint操作的触发条件配置参数（hdfs-site.xml）DataNode工作机制注意NameNode详情存着元数据，元数据包括 目录树和DataNode信息池NameNode职责响应客户端的请求维护元...