Spark 安装

Spark：Lightning-fast cluster computing。

    快如闪电的集群计算。
    大规模快速通用的计算引擎。
    速度:    比hadoop 100x,磁盘计算快10x
    使用:    java / Scala /R /python
            提供80+算子(操作符)，容易构建并行应用。
    通用:    组合SQL ，流计算 + 复杂分析。

    运行：    Hadoop, Mesos, standalone, or in the cloud,local.

Spark模块
    Spark core              //核心模块
    Spark SQL              //SQL
    Spark Streaming     //流计算
    Spark MLlib             //机器学习
    Spark graph             //图计算

    DAG                         //direct acycle graph,有向无环图。

安装Spark

1.下载spark-2.1.0-bin-hadoop2.7.tgz
        下载地址：http://spark.apache.org/downloads.html
    2.解压
    3.环境变量
        [/etc/profile]
        SPARK_HOME=/soft/spark
        PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin        
        [source]
        $>source /etc/profile

    4.验证spark        
        $>cd /soft/spark
        $>./spark-shell

    5.webui
        http://s201:4040/
 

SparkContext，Spark程序的入口点，封装了整个spark运行环境的信息。

进入spark-shell
        $>spark-shell
        $scala>sc