Spark:一个通用的并行计算框架,目的在于解决hadoop的一些缺陷。
一个快速和通用的集群计算系统,提供了Java、Scala、Python和R等语言的高级API,并支持通用执行图计算。它还支持一组丰富的更高级别的工具,包括执行SQL和结构化数据的处理的Spark SQL、机器学习的MLlib、进行图形处理的GraphX,以及Spark Streaming。
使用场景:
Hadoop常用语解决高吞吐、批量处理的业务场景,列入离线计算结果用于浏览器统计。
相比Hadoop,Spark可以实时的查看浏览量统计信息。
- 快速处理能力,支持数据在内存中计算。
- 支持查询
- 支持流式计算
一些概念:
RDD(resilient distributed dataset)弹性分布式数据集
DAG(directed acycle graph)有向无环图