【面经】美团大数据开发面经

最新推荐文章于 2024-07-25 09:48:00 发布

和风与影

最新推荐文章于 2024-07-25 09:48:00 发布

阅读量988

点赞数 1

分类专栏：面试文章标签：大数据数据库数据仓库

本文链接：https://blog.csdn.net/weixin_45545090/article/details/126394094

版权

面试专栏收录该内容

46 篇文章 8 订阅

订阅专栏

欢迎点击此处关注公众号

自我介绍

想在哪工作

学校里有什么成果

学校里的项目中遇到最大的问题是什么，怎么解决，收获是什么

数据仓库和数据库的区别

数据库与数据仓库的区别实际讲的是 OLTP 与 OLAP 的区别。

操作型处理，叫联机事务处理 OLTP（On-Line Transaction Processing），也可以称面向交易的处理系统，它是针对具体业务在数据库联机的日常操作，通常对少数记录进行查询、修改。用户较为关心操作的响应时间、数据的安全性、完整性和并发的支持用户数等问题。传统的数据库系统作为数据管理的主要手段，主要用于操作型处理。

分析型处理，叫联机分析处理 OLAP（On-Line Analytical Processing）一般针对某些主题历史数据进行分析，支持管理决策。

对大数据岗位的理解？你想做哪一种。为什么

大数据开发做需求的流程

实习中什么情况下遇到数据倾斜，怎么解决

大量 key 为空值的情况，所有空值进入一个 reducer 中导致倾斜。

解决：对空值加随机数打散到多个 reducer 中处理。

多事务事实表是什么

事实表的通常可以划分为如下三类：

事务事实表；
周期快照事实表；
累积快照事实表。

事务事实表又可以分为：

单事务事实表；
多事务事实表。

以订单过程为例，一个订单业务过程可以简化为下单和支付两个业务事件，两个事件共享一个订单 Id 及相应商品的维度信息，但这两个事件可以有不同的业务度量，举例来讲就是下单时有下单金额，支付时有实际支付金额，优惠金额等等。
对于数仓建设来讲，在描述订单业务过程，设计订单事实表模型时，就会面临一个选择：将下单和支付两个业务事件拆开，分别构建单事务事实表还是构建一张多事务事实表。
单事务事实表：

优点在于各个事实表的业务语义明确，表分区字段直接采用表达的业务时间即可，方便下游使用方理解。
缺点则是会冗余订单维度相关的数据，并且对于同时查询下单和支付度量时，会有表连接的计算开销。

多事务事实表：

此时表分区字段就不由具体的业务语义，需要在表中增加相应字段用明确时间语义。举例来讲对于 2021-01-26 的分区，需要有 ‘是否当天下单’&'是否当天支付’两个字段来辅助判断分区的时间语义，然后在表中包含下单和支付的度量，对于尚未发生的度量，可以置零。
缺点：对于下游使用有一定的理解难度，且度量中可能会有很多 0 值。
优点：可以避免表连接问题。

上面两种方案的出发点都是在与每个分区只保存增量的数据，尽量避免存储上的浪费，同时分区数据量减少，也可以提升查询计算的速度，降低计算的开销。

举例你知道的大数据组件，干什么用的

Elasticsearch 和 ClickHouse 的应用场景区别

都可以用于复杂查询，实时计算返回结果。

Elasticsearch 提供全文检索功能，最擅长的主要是完全搜索场景（where过滤后的记录数较少），在内存富裕运行环境下可以展现出非常出色的并发查询能力。但是在大规模数据的分析场景下（where过滤后的记录数较多），ClickHouse 凭借极致的列存和向量化计算会有更加出色的并发表现，并且查询支持完备度也更好。ClickHouse的并发处理能力立足于磁盘吞吐，而 Elasticsearch 的并发处理能力立足于内存 Cache，这使得两者的成本区间有很大差异，ClickHouse 更加适合低成本、大数据量的分析场景，它能够充分利用磁盘的带宽能力。数据导入和存储成本上，ClickHouse 更加具有绝对的优势。