大厂面试都在问的数据倾斜是什么？

最近的数据工程师面试中，面试官通常都会提问：什么是数据倾斜？怎么应对？

数据倾斜确实是大数据的一大挑战，尤其当面对数以亿计乃至千亿级别的数据量，它更是尤为突出。数据倾斜带来的问题不容忽视，而解决这一问题需要持续的努力和策略。本文将介绍数据倾斜的概念，以及如何应对这一数据难题。

一·数据倾斜概念理解

数据倾斜（Data Skew）是指在数据处理过程中，数据的分布不均匀，导致部分处理单元（如计算节点、任务等）所需处理的数据量显著多于其他处理单元的现象。这种不均匀性常常导致系统性能下降，造成资源的浪费，并可能引发计算瓶颈。

数据倾斜的本质在于数据的分布特性和负载均衡机制的不匹配。在分布式系统中，数据通常是按照某种策略（如哈希函数、范围分区等）进行分片和分配的。理想情况下，各个节点应该处理大致相同数量的数据。然而，在实际场景中，由于数据本身的特性或者分配策略的不合理，某些节点可能会接收到远多于其他节点的数据，从而导致资源的过度使用或闲置。

1.数据倾斜的表现形式

·计算不平衡：在分布式系统中，某些节点处理的数据量远超其他节点，导致处理时间延长，资源利用率低下。

·长尾现象：在某些计算任务中，大多数数据可能集中在少数几个键或分组上，形成“长尾”现象，少数数据导致计算的延迟。

·性能瓶颈由于数据倾斜，某些节点可能成为性能瓶颈，影响整个系统的吞吐量和响应时间。

2.数据倾斜的影响

·资源浪费：由于某些节点过载，资源未能得到有效利用。

·性能下降：计算任务的完成时间延长，可能影响整体的服务质量。

·故障风险：负载不均可能导致部分节点崩溃，增加系统故障的风险。

3.数据倾斜的成因

·数据特性

非均匀分布：在某些情况下，数据本身并不均匀。例如，电商平台的用户访问数据可能在某些时段集中在特定商品上，导致某些节点处理的数据量激增。

热点数据：某些数据项可能频繁被访问或更新，导致相应的计算节点负担加重。

·分配策略

哈希分片不均匀：如果哈希函数设计不当，可能导致某些哈希值被频繁使用，从而使得部分节点数据过载。

范围分片问题：在按照范围划分数据时，如果某个范围内的数据密度远高于其他范围，便会造成倾斜。

·计算逻辑

聚合操作：在执行聚合操作（如SUM、COUNT等）时，某些特定值的出现频率极高，导致某些任务处理的数据量远超其他任务。

二·如何判断发生了数据倾斜？

1.分析节点资源管理器，如果大部分节点已经执行完成，而个别节点长时间执行不完，很可能发生了数据倾斜

2.分析执行日志，作业在reduce阶段停留在99%，很长时间完成不了，很有可能发生了数据倾斜

3.查看任务调度信息，分析任务调度器（如YARN、Mesos）的日志和状态信息，查看是否有任务长时间处于等待状态。

三·数据倾斜出现的场景

1.大数据处理场景

1.在大数据框架（如Hadoop、Spark）中，数据倾斜是一个常见问题。由于数据分布的不均匀性，某些任务可能会处理大量的数据，而其他任务却相对较少。这种情况经常发生在：

● MapReduce框架在Map阶段，某些key的值过多，导致Reduce阶段处理不均。

● 分布式数据库在查询过程中，由于数据分布不均，某些节点的负载可能远超其他节点。

2. 实时数据处理

在流处理框架（如Apache Flink、Kafka Streams）中，数据倾斜会导致某些消费者的处理延迟明显高于其他消费者。

3. 数据库查询

在数据库中，某些查询条件可能会导致特定索引被频繁访问，进而造成数据库节点的负载不均。

四·解决数据倾斜的方法

1. 优化数据分配策略

改进哈希函数：设计更均匀的哈希函数，以确保数据在各个节点间的分布尽可能均匀。例如，可以采用随机化技术来减少哈希碰撞。

范围划分调整：对于范围分区，可以根据数据特性动态调整范围，例如，通过分析历史数据访问模式，优化数据的范围划分。

2. 数据预处理

采样和抽样：在数据处理前进行采样，以减少倾斜影响，尤其是在处理大规模数据时，通过对数据进行随机抽样来减轻计算负担。

数据清洗：对数据进行清洗，去除噪声数据和异常值，降低其对整体计算的影响。

3. 任务重分配

动态任务调度：在执行过程中，可以根据各个节点的负载情况动态调整任务的分配。例如，可以将任务从繁忙节点迁移到空闲节点。

拆分任务：对于过于庞大的任务，可以将其拆分为多个小任务，进行并行处理，减少单个任务的负担。

4. 数据再分配

数据重分区：定期对数据进行重分区，可以有效缓解数据倾斜问题。可以根据节点的当前负载情况重新分配数据，确保每个节点处理的数据量尽可能相近。

使用合适的存储结构：选择合适的数据存储格式（如列式存储、行式存储等），以适应特定的查询模式，降低数据倾斜的可能性。

5. 应用机器学习算法

负载预测：通过机器学习算法分析历史负载数据，预测未来的负载情况，以便进行更合理的任务调度和数据分配。

自适应调整：利用机器学习模型根据实时负载情况进行动态调整，提高系统的整体适应性。

数据倾斜是分布式计算和存储系统中常见的问题，其根本原因在于数据的非均匀分布和计算资源的调度不当。通过优化数据分配策略、实施数据预处理、动态任务重分配和使用机器学习算法等手段，可以有效缓解数据倾斜的影响，提高系统的性能和稳定性。

FineDataLink——一站式数据集成平台，小到数据库对接、API对接、行列转换、参数设置，大到任务调度、运维监控、实时数据同步、数据服务API分享，另外它可以满足数据实时同步的场景，应有尽有，功能很强大。如果您需要进行数据处理，帆软FDL会是您的最优解。

免费试用、获取更多信息，点击了解更多>>>体验FDL功能

了解更多数据处理与数据集成关干货内容请关注>>>FineDataLink官网