centos7安装配置spark

步骤一：安装spark

1.下载spark安装包

wget http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.6.tgz

2.解压并安装

mv spark-2.1.0-bin-hadoop2.6 ../spark2.1

3.配置环境变量

vi /etc/profile
#在末尾加入如下两条语句
export SPARK_HOME=/home/zzy/spark2.1
export PATH=$SPARK_HOME/bin:$PATH

4.运行spark

spark-shell

5.管理日志
由于Spark core的默认日志级别是warn,所以看到信息不多，现在将Spark安装目录的conf文件夹下，首先进入conf目录：

 cp   log4j.properties.template log4j.properties

然后进入log4j.properties 并将log4j.logger.org.apache.spark.repl.Main=INFO (把原来的WARN改为INFO,保存即可)