Spark开发环境搭建

一、下载spark安装包：http://spark.apache.org/downloads.html

二、将这个包解压到：/usr/spark 目录下

三、进入目录：/usr/spark/spark-2.1.0/bin 选择需要启动的脚本，
例如python的shell：./pyspark

启动成功后如下图所示：

四、编辑环境变量：vim ~/.bashrc
增加如下内容

Set Spark

export SPARK_HOME=/usr/spark/spark-2.1.0
PATH=$PATH:$SPARK_HOME/bin

这样在任意目录下都可以执行命令：pyspark

五、调整日志级别：
1、进入 /usr/spark/spark-2.1.0/conf 目录：
2、从 log4j.properties.template 文件中复制一份log4j.properties：
cp log4j.properties.template log4j.properties
3、找到下面这一行：
log4j.rootCategory=INFO, console
然后通过下面的设定降低日志级别，只显示警告及更严重的信息：
log4j.rootCategory=WARN, console