使用 Spark 和 Delta Lake 构建近实时数据仓库

最新推荐文章于 2024-05-03 16:41:41 发布
最新推荐文章于 2024-05-03 16:41:41 发布
阅读量3k 收藏 9
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wypblog/article/details/102889946
版权
本文探讨了在SPARK + AI SUMMIT Europe 2019会议上分享的主题，讲解如何结合Structured Streaming和Delta Lake创建近实时数据仓库。内容涵盖了Structured Streaming的基本概念、Delta Lake的事务日志管理和VACUUM命令，以及如何整合两者实现从MySQL到Delta Lake的批处理和实时数据处理。还讨论了实时流处理的挑战，如小文件问题、数据延迟和Watermark的使用。
摘要由CSDN通过智能技术生成

本文来自于2019年10月15日-17日荷兰首都阿姆斯特丹举行的 SPARK + AI SUMMIT Europe 2019 会议，议题名为《Near Real Time Data Warehousing with Apache Spark and Delta Lake》，分享者 Jasper Groot。

本文 PPT 请关注过往记忆大数据微信公众号，并回复 data_warehouse 关键字获取。本分享配套视频：

好了，我们进入正文吧。

640?wx_fmt=png

本分享主要包括三部分

  • Structed Streaming

  • Delta Lake

  • 数据仓库

640?wx_fmt=png

Structed Streaming 从 Spark 2.0 开始引入，其 API 和 DataFrame 的 API 类似。

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

最低0.47元/天 解锁文章
过往记忆
关注
Spark SQL Scala版 使用 Delta Lake(04)
11-29 6万+
Spark SQL 使用 Delta Lake 前面我们介绍过了 Delta Lake可以解决我们数据更新和小文件合并的问题，我们知道数据湖三驾马车的特性如下： Iceberg 的设计初衷更倾向于定义一个标准、开放且通用的数据组织格式，同时屏蔽底层数据存储格式上的差异，向上提供统一的操作 API，使得不同的引擎可以通过其提供的 API 接入； Hudi 的设计初衷更像是为了解决流式数据的快速落地，并能够通过 upsert 语义进行延迟数据修正； Delta Lake 作为 Databricks 开源的项目
Structured Streaming原理与代码实例讲解
最新发布
程序员光剑
08-06 585
Structured Streaming为Spark带来了高性能、易用的流处理能力,是流处理领域一次重要的创新。未来它有望进一步发展,成为流批一体化的统一计算引擎。低延迟优化:如何进一步降低端到端延迟,实现毫秒级的流处理。吞吐量提升:在超高数据量下如何提升系统吞吐能力。更多数据源连接器:扩展更多的流数据源,提高系统适用性。大状态管理:高效管理TB级别的状态数据,进行快照/恢复。相信Structured Streaming会在未来不断突破创新,让流处理变得更简单高效!
基于Spark和Hive的新型种质资源数据仓库的设计和实现.caj
07-17
基于Spark和Hive的新型种质资源数据仓库的设计和实现.caj
Databricks 企业版 Spark&Delta Lake 引擎助力 Lakehouse 高效访问
weixin_45906054的博客
03-02 1401
作者李锦桂（锦犀），阿里云开源大数据平台开发工程师王晓龙（筱龙），阿里云开源大数据平台技术专家1背景介绍 Databricks是全球领先的Data+AI企业，是ApacheS...
Spark实时数仓的项目实现
迷雾总会解
09-21 2456
离线计算一般指通过批处理的方式计算已知的所有输入数据，输入数据不会产生变化，一般计算量级较大，计算时间较长。例如今天凌晨一点，把昨天累积的日志，计算出所需结果。最经典的就是 Hadoop 的 MapReduce 方式；一般需要根据前一日的数据生成报表，虽然统计指标、报表繁多，但是对时效性不敏感。离线计算的特点：实时计算一般是指通过流处理方式计算当日的数据都算是实时计算。也会有一些准实时计算，利用离线框架通过批处理完成（小时、10 分钟级）的计算，一般为过渡产品，不能算是实时计算。实时计算的特点：局部计算。每
delta spark_Delta Lake为Apache Spark数据集提供了新的功能
科技博客的分析“工具人”
07-09 243
delta spark 由Apache Spark的原始开发人员创建的Databricks公司已经发布了Delta Lake ，它是Spark的开源存储层，可提供ACID事务和其他数据管理功能，以进行机器学习和其他大数据工作。 许多类型的数据工作都需要功能，例如ACID事务或模式实施以保持一致性，元数据管理以提高安全性以及使用离散版本的数据的能力。 并非所有数据源都具备类似这些功能的标准，因...
如何使用Delta Lake构建批流一体数据仓库
阿里云云栖号
05-13 1109
简介：Delta Lake是一个开源存储层，它为数据湖带来了可靠性。Delta Lake提供了ACID事务、可扩展的元数据处理，并统一了流式处理和批处理数据处理。Delta-Lake运行在现有数据湖之上，并且与Apache Spark API完全兼容。希望本篇能让大家更深入了解Delta Lake，最终可以实践到工作当中。 作者： 李元健，Deltabricks软件工程师 冯加亮，阿里云开源大数据平台技术工程师 Delta Lake是一个开源存储层，它为数据湖带来了可靠性。Delta Lake提供了
spark 什么是数据湖？ 什么是deltalake?
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
02-28 1268
What is a data lake? A data lake is a centralized data repository that is capable of storing both traditional structured (row and column) data, as well as unstructured, non-tabular raw data in its native format (like videos, images, binary files, and more
如何使用 Delta Lake 构建批流一体数据仓库
阿里云技术
05-13 252
Delta Lake是一个开源存储层，它为数据湖带来了可靠性。Delta Lake提供了ACID事务、可扩展的元数据处理，并统一了流式处理和批处理数据处理。Delta-Lake运行在现有数据湖之上，并且与Apache Spark API完全兼容。希望本篇能让大家更深入了解Delta Lake，最终可以实践到工作当中。
数据湖—Delta Lake
阿里云云栖号
05-13 911
简介：Delta Lake 是 DataBricks 公司开源的、用于构建湖仓架构的存储框架。能够支持 Spark，Flink，Hive，PrestoDB，Trino 等查询/计算引擎。作为一个开放格式的存储层，它在提供了批流一体的同时，为湖仓架构提供可靠的，安全的，高性能的保证。 DeltaLake简介 Delta Lake 是 DataBricks 公司开源的、用于构建湖仓架构的存储框架。能够支持 Spark，Flink，Hive，PrestoDB，Trino 等查询/计算引擎。作为一个开放格式的存
基于SparkSQL的海量数据仓库设计与实践
10-08
基于SparkSQL的海量数据仓库设计与实践
The Delta Architecture Delta Lake + Apache Spark Structured Streaming
10-28
The Delta Architecture Delta Lake + Apache Spark Structured Streaming
基于spark框架搭建离线数仓
weixin_65704814的博客
05-03 220
Linux设置网卡IP地址ONBOOT=yes重启网卡检查。
Spark实时数仓(一)
m0_52210776的博客
07-11 1999
pom.xml 2.创建子模块(gmall-common) 一.pom.xml 二.MyConstants.java 3.创建子模块(gmall-logger) 将gmall-common模块pom.xml中的以下配置复制到gmall-logger模块的pom.xml spark-gmall的pom.xml添加以下内容 gmall-logger.xml application.properties 整合log4j(log4j.properties) 编写contro
如何搭建Spark离线数仓（PPT）
weixin_45727359的博客
06-08 272
推荐阅读：世界的真实格局分析，地球人类社会底层运行原理不是你需要中台，而是一名合格的架构师（附各大厂中台建设PPT）亿级(无限级)并发，没那么难论数字化转型——转什么，如何转？华为干部与人才发展手册（附PPT）企业10大管理流程图，数字化转型从业者必备！【中台实践】华为大数据中台架构分享.pdf华为的数字化转型方法论华为如何实施数字化转型（附PPT）超详细280页Dock...
数据湖 delta lake和spark版本对应关系
yy的博客
07-30 545
数据湖 delta lake和spark版本对应关系
【Spark SQL】3、大数据数据仓库Hive的学习
我就是我的博客
01-16 250
大数据数据仓库Hive 产生背景 MapReduce编程的不变性 HDFS上的文件缺失schema 用于处理海量结构化的日志数据统计问题 构建在Hadoop之上的数据仓库 Hive定义了一种类SQL查询语言:HQL(类似SQL但不完全相同) 通常用于进行离线数据处理 支持多种不同的压缩格式(GZIP、LZO、Snappy、BZIP2)、存储格式(TextFile/SequenceFile/RC...
60+张PPT，教你如何搭建Spark离线数仓！
weixin_45727359的博客
08-22 198
分享人：金澜涛，资深大数据专家，前eBay OLAP组技术Leader本文来源未知，如有侵权请联系微信:yierstart删文。推荐阅读： 世界的真实格局分析，地球人类社会底层运行原理 不是你需要中台，而是一名合格的架构师（附各大厂中台建设PPT） 企业IT技术架构规划方案 论数字化转型——转什么，如何转？ 华为干部与人才发展手册（附PPT） 企业10大管理流程图，数字化转型从业者必备！ ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值