大数据最新数据湖及湖仓一体化项目学习框架_湖仓一体搭建(3)，2024年最新997页手淘大数据开发面试真题解析火爆全网

2401_84185951

于 2024-05-15 21:00:57 发布

阅读量369

点赞数 4

文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84185951/article/details/138923367

版权

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

7.数据湖技术Hudi MOR表类型详解
8.数据湖技术Hudi 查询类型详解
9.数据湖技术Hudi与Spark框架整合
10.数据湖技术Hudi增删改查实战操作
11.数据湖技术Hudi覆盖分区和表数据
12.数据湖技术Hudi与Hive框架深度整合
13.数据湖技术Hudi与Flink框架深度整合

2、数据湖技术Iceberg

这里不再赘述，Iceberg就是典型的数据湖技术，支持批数据和流式数据的存储，同时还支持高效的OLAP分析查询。

主要知识点：

1.什么是数据湖
2.大数据为什么需要数据湖
3.Iceberg概念及特点
4.Iceberg数据存储格式
5.Iceberg术语
6.表格式Table Format
7.Iceberg特点详述
8.Iceberg分区与隐藏分区（Hidden Partition）
9.Iceberg表演化（Table Evolution）
10.模式演化（Schema Evolution）
11.分区演化（partition Evolution）
12.列顺序演化（Sort Order Evolution）
13.Iceberg数据类型
14.开启Hive支持Iceberg
15.Hive中操作Iceberg格式表
16.Iceberg表数据组织与查询
17.Iceberg底层数据存储
18.Spark3.1.2与Iceberg0.12.1整合
19.SparkSQL设置catalog配置
20.使用Hive Catalog管理Iceberg表
21.使用Hadoop Catalog管理Iceberg表
22.Spark与Iceberg整合DDL操作
23.DataFrame API加载Iceberg中的数据
24.Spark整合Iceberg之查询表快照
25.Spark整合Iceberg之查询表历史
26.Spark整合Iceberg之查询表data files
27.Spark整合Iceberg之查询Manifests
28.Spark整合Iceberg之查询指定快照数据
29.Spark整合Iceberg之根据时间戳查询数据
30.Spark整合Iceberg之回滚快照
31.Spark整合Iceberg之合并Iceberg表的数据文件
32.Spark整合Iceberg之删除历史快照
33.spark整合Iceberg之 INSERT INTO
34.spark整合Iceberg之 MERGE INTO
35.spark整合Iceberg之 INSERT OVERWRITE
36.spark整合Iceberg之 DELETE FROM
37.spark整合Iceberg之 UPDATE
38.DataFrame API 写入Iceberg表
39.Structured Streaming实时写入Iceberg
40.Flink DataStream API 操作Iceberg
41.Flink DataStream API 实时写入Iceberg表
42.Flink DataStream API 批量/实时读取Iceberg表
43.Flink 指定基于快照实时增量读取数据
44.Flink 合并data files
45.Flink SQL API 与Iceberg整合
46.Flink SQL API 批量查询Iceberg表数据
47.Flink SQL API 实时查询Iceberg表数据
48.Flink SQL API指定基于快照实时增量读取数据
49.Flink SQL API 读取Kafka数据实时写入Iceberg表
50.Flink兼容Iceberg目前不足
51.数据湖技术Iceberg与Hudi对比

二、湖仓一体化项目

目前很多互联网公司处理公司海量数据都采用湖仓一体的架构技术设计方案，比如阿里、腾讯、百度、小米等，在数据智能时代，湖仓一体成为企业构建大数据栈的必选项，湖仓一体架构设计方案替换传统独立的数据仓库设计方案已经成为不可逆转的趋势。在数据分析领域，湖仓一体是未来，可以很好的应对当下时代数据离线和实时分析的需求，更适合数据量规模大的公司现状。

湖仓一体电商数据分析平台从Lambda架构、Kappa架构数仓的发展为出发点，详细阐述了目前湖仓一体构建数据分析平台方案设计优点与落地方案。本项目是基于某宝商城电商项目的电商数据分析平台，在技术方面涉及大数据技术组件搭建，湖仓一体分层数仓设计、实时到离线数据指标分析及数据大屏可视化，项目所用到的技术组件都从基础搭建开始，目的在于湖仓一体架构中数据仓库与数据湖融合打通，实现企业级项目离线与实时数据指标分析。在业务方面涉及到会员主题与商品主题，分析指标有用户实时登录信息分析、实时浏览pv/uv分析、实时商品浏览信息分析、用户积分指标分析等内容，其中技术涉及到Iceberg数据湖、Maxwell、Flink、Phoenix、ClickHouse等技术内容点。在项目中还会给大家讲解湖仓一体设计方式以及湖仓设计中的优化点，给各从业小伙伴打下坚实的基础。

如果你目前正打算学习大数据，不了解湖仓一体架构设计方式或者目前正在从事大数据开发对湖仓一体架构设计方式无从下手，那么来学习本栏目，全方位无死角的学习湖仓一体架构在企业真正落地实战，旨在帮助更多同学快速掌握湖仓一体架构设计方案。在此项目中我会带领大家敲出每个业务代码，同时教大家如何在湖仓一体架构中针对实时场景、离线场景进行分析，项目执行过程中优化处理、如何进行数据发布及数据可视化等重点内容。

Lambda实时数仓架构: