准备工作
Spark是安装在 hadoop集群之上的一个计算框架,为了兼容Hadoop2.7.1, Spark版本为2.1.0版本,安装文件为 spark2.1.0-bin-without-hadoop tgz下面为 Spark的安装步骤
spark安装
官网下载地址:Downloads | Apache Spark
我下载的是2.1.0版本的
记得一定要看版本对应!!!!不兼容的版本会出很多错误
下载后,执行如下命令进行安装:
$ sudo tar -zxf ~/下载/spark-2.1.0-bin-without-hadoop.tgz -C /usr/local/
//将压缩包进行解压到/usr/local/文件夹下
$ cd /usr/local
//cd到local目录下
$ sudo mv ./spark-2.1.0-bin-without-hadoop/ ./spark
//将解压好的spark文件夹进行改名
//进行授权
$ sudo su
//切换到用户root
$ sudo chmod -R a+w /usr/local/spark
//设置用户权限
$ su hadoop
//切换回原来的用户 hadoop是我的用户名
安装后,需要在 ./conf/spark-env.sh 中修改 Spark 的 Classpath,执行如下命令拷贝一个配置文件:
$ cd /usr/local/spark
//切换路径
$ cp ./conf/spark-env.sh.template ./conf/spark-env.sh
//复制文件
$ vim ./conf/spark-env.sh
//编辑配置文件,,,,,书上的教程是用 gedit (sudo gedit conf/spark-env.sh)打开配置文件的,但我打开是一片空白。gedit命令我用不了,所以出现错误时,可以尝试用 vim 或者 vi
编辑 ./conf/spark-env.sh ,在最后面加上如下一行:
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
保存后,Spark 就可以启动、运行了
如果安装没有成功ÿ