Spark入门

spark历史：伯克利实验室研究项目，基于Hadoop的Mapreduce机制，引入内存管理机制，提高了迭代式计算和交互式中的效率。
spark组件：
spark core:spark基本功能，包括任务调度，内存管理，容错机制
内部定义了RDDs(弹性分布式数据集),提供多个APIs调用，为其他组件提供底层服务

spark sql:spark处理结构化数据的库，类似Hive SQL,MySql，主要为企业提供报表统计

spark streaming：实时数据流处理组件，类似Storm，提供API操作实时流数据，企业中用来从Kafka中接收数据做实时统计

Mlib:机器学习功能包，包括聚类，回归，模型评估和数据导入。同时支持集群平台上的横向扩展

Graphx：处理图的库，并进行图的并行计算

Cluster Manager是：spark自带的集群管理

Spark紧密集成的优点：
spark底层优化，基于spark底层的组件也得到相应的优化，紧密集成节省了组件的部署，测试时间