PySpark概要

1 PySpark 概要

PySpark是Apache Spark提供的一个python交互的接口，我们不仅可以用python API来写spark应用程序，而且它还提供了PySpark shell可以进行交互式数据分析。PySpark支持Spark的大多数功能，比如Spark SQL, DataFrame, Streaming, MLlib (Machine Learning)以及Spark Core。

2 Spark SQL and DataFrame

Spark SQL是用来处理结构化数据的Spark模块，提供了DataFrame这样的抽象程序设计，同时也可以作为分布式SQL的查询引擎。

3 Streaming

Apache Spark中的流特性运行在Spark之上，Spark Streaming 可实现实时数据的快速扩展，高吞吐量，能够对大量数据的快速处理，而且具有强大的交互能力，同时继承了Spark的易用性和容错特性。

4 MLlib

MLlib是一个可扩展的机器学习库，提供了统一的高阶API，帮助用户可以快速的实践和调试机器学习模型

5 Spark Core

Spark Core是Spark平台底层的通用的执行引擎，所有其他功能都构建在此基础之上，它提供了RDD (弹性分布式数据集）和内存计算能力。