spark中的WordCount,从搭建到运行
spark
一、关于spark
1.1 What is spark
Spark是一种基于内存的快速、通用、可扩展的Big Data 计算引擎
1.2spark的特点
快速:Spark基于内存的运算是Hadoop的MapReducer的100倍,快相对于Hadoop的MapReducer而言。、
Spark实现了高效的DAG执行引擎,可以通过基于内存来高效的处理数据流。
DAG(有向无环图)
通用:Spark 结合了SQL, Streaming和复杂分析.Spark 提供了大量的类库, 包括 SQ
原创
2020-08-01 08:30:46 ·
274 阅读 ·
0 评论