hudi系列-timeline service

于 2023-06-26 19:23:54 发布
阅读量1.5k 收藏
点赞数
分类专栏： hudi系列 文章标签： hudi timeline service
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/czmacd/article/details/131403891
版权
Timeline Service是Hudi的一个组件，提供文件系统视图接口，基于Javalin+Jetty的web服务。服务处理BaseFileHandler、FileSliceHandler、TimelineHandler和MarkerHandler的请求，解决如AWS S3的性能问题。支持内置（默认，每个作业独享）和独立部署两种方式，减少写操作的文件系统开销。
摘要由CSDN通过智能技术生成

Timeline Service（时间线服务）是hudi的一个组件，用于暴露文件系统视图接口给客户端，是一个基于Javalin+Jetty实现的web服务。当客户端使用远程文件系统视图(RemoteHoodieTableFileSystemView)时，就是访问时间线服务http接口

在这里插入图片描述

默认情况下，如果开启了时间线服务，则它运行在JobManager(如果是spark，则在driver中)，所有写任务都会向它发出请求。

功能

时间线服务接收到的请示会分派给对应的Handler进行处理

  • BaseFileHandler：获取base文件信息
  • FileSliceHandler：获取文件分片信息
  • TimelineHandler：获取timeline信息
  • MarkerHandler：管理marker文件，创建、删除、查询

前三者直接代理了文件系统视图提供的接口，第四个是实现了marker机制，支持批量创建marker文件，解决了AWS S3下性能瓶颈问题。

部署方式

时间线服务支持两种部署方式，内置方式以及独立部署方式

  • 内置方式：默认的部署方式，即hoodie.embed.
了解本专栏 订阅专栏 解锁全文 超级会员免费看
矛始
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
HDP 之 Timeline Service 2.0
Yore - Home
01-17 3930
本文树妖介绍了 HDP 之上的 Timeline Service 2.0。包含体系结构、安装、System Service模式、ats-hbase 的生命周期管理、ats-hbase清除、发布 Application-Specific 数据、Timeline Service 2.0 的 REST API 等内容
YARN之配置Timeline服务
TomAndersen的博客
06-08 5993
前言 hadoop：2.7.7 Timeline Service 官方文档 简介 Timeline Server基于YARN运行，能够存储和检索应用程序的当前和历史信息，其主要有两个职责： 1）存储应用程序的特定信息 收集和检索指定应用程序或者框架的某些信息。例如，Hadoop的MR框架会产生像是Map task数量、Reduce task数量、Counter等信息，应用开发人员可以通过TimelineClient，在Application Master或者Container中将特定的信息发送到Tim
The YARN Timeline Service v.2
飞朋的博客
05-15 2148
Table of Contents Timeline Service v.2 概述 介绍 架构 现状和未来计划 部署 Basic configuration Timeline Service v.2 概述 介绍 YARN Timeline Service v.2是时间轴服务器的下一个主要迭代，在v.1和v.1.5 之后创建V.2是为了解决v.1的两个主要挑战。 可扩展性 V.1 仅限于写/读器和存储的单个实例，并且不能很好地扩展到小集群之外。v2 使用了更可伸缩的分布式写入器体..
【hudi学习笔记】hudi基础教程-Timeline时间轴
foxofwind的博客
10-11 1373
一. Hudi Timeline（时间轴） Hudi维护着一条对Hudi数据集所有操作的不同Instant组成的Timeline（时间轴），通过时间轴，用户可以轻易的进行增量查询或基于某个历史时间点的查询，这也是Hudi对外提供基于时间点查询的核心能力之一。 每条Timeline必须包含零或多个Instant。所有Instant构成了Timeline，Instant在Hudi中被定义为HoodieInstant，其主要包含三个组件（字段）: State state = State.CO...
Timeline Service V2.0 Reader启动失败
Pichairen
10-09 761
参考：https://blog.csdn.net/Happy_Sunshine_Boy/article/details/108092608 可用
hudi-hadoop-mr-bundle-0.11.0.jar
06-28
hudi-hadoop-mr-bundle-0.11.0.jar 配合文档
hudi-spark-bundle.jar
04-13
hudi:0.10.1 spark:3.1.3 scala:2.12 hadoop:3.1.0 hive:3.1.0
hudi-spark3.2-bundle_2.12-0.11.0.jar
06-28
配合文档
hudi-flink1.17-bundle-0.14.0-sources.jar
最新发布
12-22
这是Flink1.17、hudi 0.14 、hadoop 3.3.4、hive 3.1.3、Spark 3.2.3 编译出来的版本
hudi-spark3-bundle_2.12-0.10.0-SNAPSHOT.jar
11-27
spark读取hudi，hudi版本0.10
数据湖浅析(以hudi为例)
weixin_45626756的博客
09-18 2637
数据湖浅析
Hudi 核心原理
qq_32323239的博客
04-21 365
本文阐述了 Hudi 相关的基本概念，如 Timeline、COW/MOR 表的定义，以及文件分布等内容，并针对核心功能如 Upsert、增量读取进行了原理解释，可以看到 Hudi 是以一个具有丰富功能的 Format 的形式存在，使用 merge-on-read 思想来实现 Upsert 的传输语义。
hudi更新失败
L13763338360的博客
09-03 1879
Caused by: org.apache.hudi.exception.HoodieException: (Part -) field not found in record
Hudi on flink v0.7.0 使用遇到的问题及解决办法
微信公众号：大数据从业者
03-04 2063
近日，Hudi社区合并了 Flink 引擎的基础实现(HUDI-1327)，这意味着 Hudi 开始支持 Flink 引擎。 当前 Flink 版本的 Hudi 只支持读取 Kafka 数据，sink到 COW 类型的 Hudi 表中，其他功能还在完善。 这里我们简要介绍下如何从 Kafka 读取数据 写出到 Hudi表。 Hudi社区已经正式发布了hudi-0.7.0版本。hudi on f...
hudi系列-小文件优化
1032851561的博客
06-05 1911
hudi使用mvcc来实现数据的读写一致性和并发控制，基于timeline实现对事务和表服务的管理，会产生大量比较小的数据文件和元数据文件。大量小文件会对存储和查询性能产生不利影响，包括增加文件系统的开销、文件管理的复杂性以及查询性能的下降。对于namenode而言，当整个集群中文件数到了几千万，就已经会变得很不稳定了。
第1节 hudi 0.9编译 CDH6.3.2环境
等夏天
10-08 1568
1.准备编译环境 1) Maven安装 （1）把apache-maven-3.6.1-bin.tar.gz上传到linux的/data/software目录下 （2）解压apache-maven-3.6.1-bin.tar.gz到/data/module/目录下面 tar -zxvf apache-maven-3.6.1-bin.tar.gz -C /data/module/ （3）修改apache-maven-3.6.1的名称为maven （4）添加环境变量到/etc/profile中
spark写hudi：NoSuchMethodError: org.apache.jetty.server.session.SessionHandler.setHttpOnly(Z)V
ChengYanan的博客
09-18 1352
前提 Hudi version : 0.9.0 Spark version : 3.1.2 Hive version : 2.1.1-cdh6.3.2 Hadoop version : 3.0.0-cdh6.3.2 报错日志： scala> df.write.format("hudi"). | options(getQuickstartWriteConfigs). | option(PRECOMBINE_FIELD_OPT_KEY, "ts"). | opti
使用 Flink Hudi 构建流式数据湖平台
Ververica的博客
02-15 1241
▼ 关注「ApacheFlink」，看更多大咖▼摘要：本文整理自阿里巴巴技术专家陈玉兆 (玉兆)、阿里巴巴开发工程师刘大龙 (风离) 在 Flink Forward Asia 2021 ...
什么是 Hudi Timeline (时间线)
修破立生
03-02 1696
本文介绍了 Hudi Timeline（时间线）的核心概念，Instant action, Instant time, state。并举例进行说明
使用hudi-hive-sync 将hudi同步到hive
05-17
Hudi是一种用于在Apache Hadoop上构建实时数据湖的库，而Hive是一种数据仓库工具，它可以将数据存储在Hadoop分布式文件系统（HDFS）中，并提供一种SQL查询语言来查询和分析数据。Hudi提供了一个hudi-hive-sync工具，可以将Hudi表同步到Hive表中。 以下是将Hudi表同步到Hive表的步骤： 1. 确保您已经安装了Hive和Hadoop，并且已经配置了它们。 2. 使用Hudi创建一个表。可以使用以下命令： ``` $ java -jar hudi-cli-<version>.jar hudicli> connect --jdbc-url jdbc:hive2://localhost:10000 hudicli> create --table-type COPY_ON_WRITE --table-name hudi_table --table-schema "`id` string, `name` string, `age` int" --record-key id --precombine-key name ``` 3. 使用Hive创建一个表，用于存储Hudi表的数据。可以使用以下命令： ``` CREATE EXTERNAL TABLE hive_table ( id string, name string, age int ) STORED BY 'org.apache.hudi.hadoop.hive.HoodieHiveStorageHandler' LOCATION '/path/to/hudi_table'; ``` 4. 使用以下命令将Hudi表同步到Hive表中： ``` $ java -jar hudi-cli-<version>.jar hudicli> connect --jdbc-url jdbc:hive2://localhost:10000 hudicli> sync --hoodie-table-name hudi_table --hive-database default --hive-table-name hive_table ``` 这将在Hive中创建一个名为hive_table的表，并将Hudi表中的数据复制到该表中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值