本文对比分析了大数据处理引擎Spark与Flink的性能、流式计算、与Hadoop的兼容性、SQL支持、计算迭代及社区支持。结果显示，在性能、流式计算和迭代计算上Flink更具优势，而在SQL支持和社区活跃度上Spark更胜一筹。两者都在不断发展和完善，以适应数据科学和平台API化的需求。
大数据技术正飞速地发展着，催生出一代又一代快速便捷的大数据处理引擎，无论是Hadoop、Storm，还是后来的Spark、Flink。然而，毕竟没有哪一个框架可以完全支持所有的应用场景，也就说明不可能有任何一个框架可以完全取代另一个。今天，大圣众包威客平台（www.dashengzb.cn）将从几个项出发着重对比Spark与Flink这两个大数据处理引擎，探讨其两者的区别。
一、Spark与Flink几个主要项目的对比与分析
1.性能对比
测试环境：
CPU：7000个
内存：单机128GB
版本：Hadoop 2.3.0，Spark 1.4，Flink 0.9
数据：800MB，8GB，8TB
算法：K-means：以空间中K个点为中心进行聚类，对最靠近它们的对象归类，通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果
迭代：K=10，3组数据
最低0.47元/天 解锁文章
扫一扫
2357
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
