上次记录了hadoop的安装步骤,这次记录一下自己安装Spark的步骤
1,Hadoop
首先我们需要安装hadoop,不知道如何安装的可以查看网上的教程,也可以看我的这篇博客
Hadoop安装
2,下载并安装
2,安装:
sudo tar -zxf ~/下载/spark-2.1.0-bin-hadoop2.7.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-2.1.0-bin-hadoop2.7/ ./spark
sudo chown -R hadoop:hadoop ./spark # 此处的 hadoop 为你的用户名
3,安装后需要修改配置文件:
cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
4,
编辑 ./conf/spark-env.sh:vim
./conf/spark-env.sh
在最后加上一行: export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
3,运行spark
1,
在 ./examples/src/main 目录下有一些 Spark 的示例程序,有 Scala、Java、Python、R 等语言的版本。我们可以先运行一个示例程序 SparkPi(即计算 π 的近似值),执行如下命令:
cd /usr/local/spark
./bin/run-example SparkPi
这个时候你会看到密密麻麻一大堆的输出信息,根本没办法查找正确的输出结果,此时我们可以
可以通过
grep
命令进行过滤(命令中的
2>&1
可以将所有的信息都输出到 stdout 中,否则由于输出日志的性质,还是会输出到屏幕中)
./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"
至此,Spark就算是安装完毕了!