PySpark tutorial 学习笔记1——概述，SparkContext

Spark：https://spark.apache.org/

PySpark官方文档：http://spark.apache.org/docs/latest/api/python/pyspark.html

1.PySpark简介

1.1 Spark - 概述

       Apache Spark是一个闪电般快速的实时处理框架。它可以使用内存计算以实时分析数据。由于Apache Hadoop MapReduce仅执行批处理并且缺乏实时处理功能，所以才有了Apache Spark，因为它可以实时执行流处理，也可以处理批处理。除了实时和批处理之外，Apache Spark还支持交互式查询和迭代算法。Apache Spark有自己的集群管理器，可以托管其应用程序。它利用Apache Hadoop进行存储和处理。它使用HDFS（Hadoop分布式文件系统）进行存储，也可以在YARN上运行Spark应用程序。

1.2 PySpark - 概述

      Apache Spark是用Scala编写的。 Apache Spark社区发布了一个工具PySpark，可以使用用Spark支持Python。 PySpark可以使用Python语言操作RDD。 正是由于一个名为Py4j的库，他们才能实现这一目标。PySpark提供了PySpark Shell，它将Python API链接到spark核心并初始化S