Spark笔记

Spark:一个通用的并行计算框架，目的在于解决hadoop的一些缺陷。

一个快速和通用的集群计算系统，提供了Java、Scala、Python和R等语言的高级API，并支持通用执行图计算。它还支持一组丰富的更高级别的工具，包括执行SQL和结构化数据的处理的Spark SQL、机器学习的MLlib、进行图形处理的GraphX，以及Spark Streaming。

使用场景：

Hadoop常用语解决高吞吐、批量处理的业务场景，列入离线计算结果用于浏览器统计。

相比Hadoop，Spark可以实时的查看浏览量统计信息。

1. 快速处理能力，支持数据在内存中计算。
2. 支持查询
3. 支持流式计算

一些概念：
RDD（resilient distributed dataset）弹性分布式数据集

DAG（directed acycle graph）有向无环图