spark
Black_God1
我个人喜欢看一些技术或方法,愿技术改变生活!
展开
-
Spark Streaming与Storm的区别
Spark Streaming与Storm的区别 Spark Streaming和Storm最大的区别在于,SparkStreaming无法实现毫秒级的流计算,而Storm可以实现毫秒级响应。 Streaming无法实现毫秒级的流计算,是因为其将流数据按批处理窗口大小(通常在0.5~2秒之间)分解为一系列批处理作业,在这个过程中,会产生多个Spark 作业,且每一段数据的处理都会经过Spa...原创 2019-03-21 15:40:20 · 1510 阅读 · 0 评论 -
Hadoop及spark框架结构
Hadoop结构框架 spark框架 Spark各部件介绍 Spark Core Spark生态圈的核心: 负责从HDFS, Amazon S3和HBase等持久层读取数据 在YARN和Standalone为资源管理器调度Job完成分布式计算 包括两个重要部件 有向无环图(DAG)的分布式并行计算框架 反应RDD之间的依赖关系 提供Cache机制来支持多次迭代计算或...原创 2019-03-21 15:48:36 · 678 阅读 · 0 评论