ubuntu14.04中安装spark步骤

1.首先在官网下载http://spark.apache.org/downloads.html，选择与scala对应的版本，对应关系为：spark1.6.2--scala2.10；spark2.0.0--scala2.11

在ubuntu中右键点击下载，选择复制链接，在终端中输入wget http://d3kbcqa49mib13.cloudfront.net/spark-1.6.2-bin-hadoop2.6.tgz（此处粘贴刚才复制的链接进行下载），或直接下载都可

2.解压下载的spark

输入tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz进行解压

3.在使用spark-shell时去除WARN级别的日志

1) 首先cd conf/ 进入到conf文件夹

2) 将log4j文件复制出来一份 cp  log4j.properties.template log4j.properties

3) 进入文件并将rootCategory 的级别改成WARN，输入 vi log4j.properties

按a插入，修改INFO为WARN后，按ESC，输入:wq，保存退出