Hadoop与 Spark - 选择正确的大数据框架

我们被各方的数据所包围。随着数据每两年增加一倍，数字世界正在快速追逐物理世界。据估计，到2020年，数字宇宙将达到44个zettabytes - 与宇宙中的恒星一样多的数字位。

 

数据正在增加，我们不会很快摆脱它。为了消化所有这些数据，市场上有越来越多的分布式系统。在这些系统中，Hadoop和Spark经常作为直接竞争对手相互竞争。

在决定这两个框架中哪一个适合您时，根据几个基本参数对它们进行比较非常重要。

性能

Spark非常闪电，并且发现它的性能优于Hadoop框架。它在内存中的运行速度提高了100倍，在磁盘上运行速度提高了 10倍。此外，我们发现，它使用10倍的机器，比使用Hadoop快3倍的数据排序100 TB。

 

Spark是如此之快，因为它处理内存中的所有内容。得益于Spark的内存处理，它可以为来自营销活动，物联网传感器，机器学习和社交媒体网站的数据提供实时分析。

但是，如果Spark和其他共享服务在YARN上运行，则其性能可能会降低。这可能导致RAM开销内存泄漏。另一方面，Hadoop轻松处理这个问题。如果用户倾向于批量处理，Hadoop比Spark更有效。