Spark
Quinto0
Learning is the highest
展开
-
SparkCore基础
Spark简介 1什么是Spark Spark是一个通用的可扩展的处理海量数据集的计算引擎。 Spark集成离线计算,实时计算,SQL查询,机器学习,图计算为一体的通用的计算框架。 2Spark特点 (1)快:相比给予MR,官方表明基于内存计算spark要快mr100倍,基于磁盘计算spark要...原创 2019-09-30 14:47:03 · 919 阅读 · 0 评论 -
SparkStreaming基础
SparkStreaming基础 1流式计算 流式计算就像水流一样,数据连绵不断的产生,并被快速处理。 流式计算特点:①数据是无界的(unbounded);②数据是动态的;③计算速度是非常快的;④计算不止一次;⑤计算不能终止 离线计算特点 :①数据是有界的(Bounded) ;②数据静态的 ;③计算速度通常较慢 ;④计算...原创 2019-10-01 14:48:27 · 1136 阅读 · 0 评论