Flink & Hudi 学习

已于 2022-07-04 12:14:45 修改
阅读量1.8k 收藏 1
点赞数
文章标签： 大数据
于 2022-04-11 01:29:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45235371/article/details/124089759
版权
本文介绍了Apache Flink，一个用于实时和批处理的数据处理框架，以及Hudi，一个针对Hadoop的实时分析数据存储系统。Flink提供事件驱动型应用和数据分析应用等功能，而Hudi支持在HDFS上的读优化和近实时表，提供更新和删除的解决方案。文章还提到了基于Flink的数仓实时化改造实践和关键术语，如维表、事实表和数据仓库分层。
摘要由CSDN通过智能技术生成

Flink & Hudi

  • Flink官网（中文）： https://flink.apache.org/zh/flink-architecture.html
  • Hudi官网： https://hudi.apache.org/cn/

认识 Flink

Apache Flink 是一个框架 & 分布式处理引擎，用于在无边界数据流和有边界数据流上进行有状态的计算。

  • 能在所有常见集群环境中运行
  • 能以内存速度和任意规模进行计算

应用：

  • 事件驱动型应用： 是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。
    • 从传统的事务型应用进行而来（即计算与存储分离的）
    • 定期向远程持久化写入&异步检查（periodically write & asynchronous checkpoints）
  • 数据分析应用
  • 数据管道应用

使用： https://flink.apache.org/zh/flink-applications.html#layered-apis

Table API & SQL: https://nightlies.apache.

最低0.47元/天 解锁文章
-Rollo-
关注
专栏目录
Flink操作Hudi-工作实践
someInNeed的博客
04-14 2009
package org.example.hudi; import org.apache.flink.runtime.state.filesystem.FsStateBackend; import org.apache.flink.streaming.api.CheckpointingMode; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.tab..
hudi和flink结合使用方案
u011624157的专栏
08-11 2568
Apache Hudi(简称Hudi)是Uber创建的一个数据湖框架。2019年1月，Hudi加入Apache孵化器进行孵化，并于2020年5月晋升为Apache顶级项目。它是最流行的数据湖框架之一。 1. hudi与spark解耦 自诞生以来，Hudi一直使用Spark作为其数据处理引擎。如果用户想要使用Hudi作为他们的数据湖框架，他们必须将Spark引入到他们的平台技术栈中。几年前，使用Spark作为大数据处理引擎可以说是非常普遍甚至是自然的。因为Spark既可以执行批处理，也可以使用微批处理来模拟流
30分钟掌握沧湖一体化：flink+hudi
m0_66789766的博客
05-03 1059
Hudi解决了以下限制 HDFS的可伸缩性限制 需要在Hadoop中更快地呈现数据 没有直接支持对现有数据的更新和删除 快速的ETL和建模 要检索所有更新的记录，无论这些更新是添加到最近日期分区的新记录还是对旧数据的更新，Hudi都允许用户使用最后一个检查点时间戳。此过程不用执行扫描整个源表的查询 Hudi的优势 HDFS中的可伸缩性限制。 Hadoop中数据的快速呈现 支持对于现有数据的更新和删除 快速的ETL和建模 （以上内容主要引用于：[Apache Hu
30分钟掌握沧湖一体化：flink+hudi（干货，建议收藏）_flink hudi sink
最新发布
2401_85954670的博客
08-13 1040
之所以数据先入 Kafka 而不是直接入 Hudi，是为了实现多个实时任务复用 MySQL 过来的数据，避免多个任务通过 Flink CDC 接 MySQL 表以及 Binlog，对 MySQL 库的性能造成影响。再者，如果把大量的历史数据再一次推到 Kafka，走实时计算的链路来修正历史数据，可能会影响当天的实时作业。从架构图上，可以看到有一步数据修正 (重跑历史数据) 的动作，之所以有这一步是考虑到：有可能存在由于口径调整或者前一天的实时任务计算结果错误，导致重跑历史数据的情况。
Apache Hudi 详解
热门推荐
风中云彩的博客
12-26 2万+
1. 什么是Hudi？ Apache Hudi代表Hadoop Upserts anD Incrementals，管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。由Uber开发并开源，HDFS上的分析数据集通过两种类型的表提供服务：读优化表（Read Optimized Table）和近实时表（Near-Real-Time Table）。 读优化表的...
基于flink&hudi批流一体技术
weixin_44687655的博客
04-21 1292
Hudi是Hadoop Updates and Incrementals的简写，它是由Uber开发并开源的Data Lakes解决方案。Hudi 用于管理的数据库层上构建具有增量数据管道的流式数据湖，同时针对湖引擎和常规批处理进行了优化。简言之，Hudi是一种针对分析型业务的、扫描优化的数据存储抽象，它能够使DFS数据集在分钟级的时延内支持变更，也支持下游系统对这个数据集的增量处理。
Flink +hudi+presto 流程图.docx
04-29
《Flink + Hudi + Presto：实时大数据处理与分析的综合应用》 在现代大数据处理领域，Apache Flink、Hudi和Presto是三款重要的开源工具，它们各自承担着不同的职责，但又能完美地协同工作，构建出高效、实时的数据...
30分钟掌握沧湖一体化：flink+hudi（干货，建议收藏）_flink hudi sink(1)
2301_79985178的博客
04-28 828
最近遍览了各种网络安全类的文章，内容参差不齐，其中不伐有大佬倾力教学，也有各种不良机构浑水摸鱼，在收到几条私信，发现大家对一套完整的系统的网络安全从学习路线到学习资料，甚至是工具有着不小的需求。最后，我将这部分内容融会贯通成了一套282G的网络安全资料包，所有类目条理清晰，知识点层层递进，需要的小伙伴可以点击下方小卡片领取哦！当然，当你入门之后，仅仅是视频教程已经不能满足你的需求了，你肯定需要学习各种工具的使用以及大量的实战项目，这里也分享一份。下，则只需要如下执行即可，否则会出现各种找不到类的异常。
使用Flink1.14.4 + Hudi0.11.0构建数据湖
Bulut0907
06-07 1738
目录1. Flink集成Hudi2. 创建表 1. Flink集成Hudi 0.10.1版本的Hudi，可以和Scala2.12版本的Flink1.13.x一起使用 将Hudi的依赖包(已包含flink-parquet和flink-avro formats)下载放到Flink集群所有服务器的lib目录下，然后重启Flink [root@flink1 ~]# wget -P /root/flink-1.14.3/lib https://repo.maven.apache.org/maven2/org/apac
手把手教你使用Flink官网学习
qq_35901141的博客
04-09 4077
人们都说官网是最好的学习资料，我想对于Flink这种眼下最为火热的大数据技术，这点尤为突出，目前Flink官网文档已经绝大部分都有中文翻译，且经过本人实际经历，阅读起来还是非常通畅的，并不像那种直接用谷歌或者百度翻译出来的结果。下面我就介绍一下如何使用Flink官网进行Flink相关技术的学习。 1.进入官网https://flink.apache.org/ 首先进入Flink官网，官网首页有很多选项，有Flink简介，Flink下载，以及Flink文档等等，对于我们学习而言，最重要的就是Flink文档了
Flink的官网简述
weixin_39868387的博客
03-04 2242
1、flink-无界数据集-有界数据集 针对无界数据持久化计算 数据源源不断产生的，就是流水一样。 数据类型 无界：不断产生数据 有界：最终，不再改变的数据集 2、flink-两种执行模型 执行模型 两种执行模型分别是：流计算、批处理 流计算：数据不断产生，就一直处于计算状态 批处理：完成一定时间段的计算任务后，释放资源 3、flink的特征 结果准确，即使是无序数据或者延迟...
Flink 入门
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
09-01 147
1.flink 官网： https://flink.apache.org 2.fink 特点： Flink灵活的窗口 Exactly once语义保证 3.fink 架构 4.fink安装 https://www.jianshu.com/p/775bdd05d047 ...
Hudi 0.10.1 编译使用
gg1314723的博客
04-16 3617
第一章 Hudi 框架之 0.10.1 编译 第一章 Hudi框架之 0.10.1 编译 文章目录第一章 Hudi 框架之 0.10.1 编译前言一、Hudi源码下载1.官网下载2.github获取源码二、编译步骤1.下载Kafka相关依赖2.根目录打包3.修改Pom.xml文件3.1在 include位置 添加3.2 在profile位置修改flink-bundle-shade-hive3添加hive-standalone-metastore 依赖4.打包 bundle jar总结 前言 使用hudi
数据湖存储解决方案之Hudi
marui156的专栏
01-17 2311
Apache Hudi是一个Data Lakes的开源方案，Hudi是Hadoop Upserts Delete and Incremental的简写，它是由Uber开发并开源的Data Lakes解决方案。Hudi能够基于HDFS之上管理大型分析数据集，可以对数据进行插入、更新、增量消费等操作，主要目的是高效减少摄取过程中的数据延迟。官方对 Hudi 的定义如下：Apache Hudi将核心仓库和数据库功能直接引入数据湖。
Apache+Hudi入门指南（含代码示例）
h335146502的专栏
02-24 1万+
1. 什么是Apache Hudi 一个spark 库 大数据更新解决方案，大数据中没有传统意义的更新，只有append和重写(Hudi就是采用重写方式) 使用Hudi的优点 使用Bloomfilter机制+二次查找，可快速确定记录是更新还是新增 更新范围小，是文件级别，不是表级别 文件大小与hdfs的Blocksize保持一致 数据文件使用parquet格式，充分利用列存的优势（drema...
大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-上
itxiaoshen博客
11-15 1036
湖仓一体时代来临解决大数据企业发展过程Lambada、Kappa架构的诸多痛点，三大数据湖技术Iceberg、Hudi、Delta Lake发展迅速，本篇则以学习功能较为齐全Hudi 数据湖入手，了解其特性和使用场景，一步步操作编译安装Hudi最新版本0.12.1，并初步了解时间轴、文件布局、索引、表类型、查询类型核心概念。
flink中文文档-快速开始 安装部署
大数据技术博客
03-09 1万+
Flink入门及实战-上： http://edu.51cto.com/sd/07245 Flink入门及实战-下： http://edu.51cto.com/sd/5845e 下载启动flink 查看代码 运行例子 下一步 下载启动flink flink可以在Linux, Mac OS X, 和Windows平台上运行。为了运行flink，只需要安装JAVA7.x(或者更高版...
flink结合hudi
10-11
Flink与Hudi结合可以实现流式数据处理和实时数仓的构建。Flink是一个流式处理框架，可以提供高吞吐量、低延迟的数据处理能力，而Hudi是一个用于数据湖管理的开源框架，可以提供数据更新、插入和删除的能力。 结合Flink和Hudi可以实现以下功能： 1. 实时数据写入：使用Flink将实时流数据写入Hudi，可以保证数据的一致性和可靠性。Flink提供了丰富的转换操作和窗口机制，可以对数据进行实时处理后再写入Hudi。 2. 增量数据更新：Flink可以对输入流进行增量计算，并将计算结果写入Hudi中。这样可以实现对实时数据的更新操作，保持数据的最新状态。 3. 批量数据处理：Flink也支持批处理模式，可以将批量数据写入Hudi。这种模式适用于对历史数据进行处理或者进行定期的全量数据推送。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值