大数据面试要点归纳总结

最新推荐文章于 2024-09-19 00:34:04 发布

置顶科学的N次方

最新推荐文章于 2024-09-19 00:34:04 发布

阅读量303

点赞数

分类专栏：数据仓库技术体系文章标签： big data 面试数据仓库

本文链接：https://blog.csdn.net/chenshijie2011/article/details/118079451

版权

数据仓库技术体系专栏收录该内容

141 篇文章 52 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文总结了大数据面试的关键要点，涵盖了数据仓库的架构、分层设计、数据模型及其重要性，强调了星型和雪花模型的区别。文章还讨论了Hadoop的HDFS HA、Zookeeper选举机制以及YARN的资源调度机制。此外，Hive的性能优化策略，如解决数据倾斜和小文件问题，以及Flink的exactly-once语义和Kafka的数据不丢失保障措施也被提及。同时，文章还涵盖了数据结构中的排序算法和网络基础知识，如HTTP协议的工作原理。

摘要由CSDN通过智能技术生成

1.数据仓库

架构（大数据平台基于hadoop+hive+kafka）

数据缓冲区（ODS）的数据结构与源系统完全一致。基础数据模型(DWD)和汇总层DWM（轻度汇总与高度汇总）是大数据平台重点建设的数据模型。集市层DWS(DM)模型由各主题按需自行建设，其中基础数据层DWD模型一般采用ER模型，DWM采用维度建模思路，主题分析DWS(DM)。应用层APP,一般是mysql/hbase/reids/clickhouse.

为什么要分层？

数据仓库一般要进行分层的设计，其能带来五大好处：
清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。
数据血缘追踪：能够快速准确地定位到问题，并清楚它的危害范围。
减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。
把复杂问题简单化：将复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。当数据出现问题之后，不用修复所有的数据，只需要从有问题的步骤开始修复。
屏蔽原始数据的异常：不必改一次业务就需要重新接入数据。