Linroid的博客

Talk is cheap,show me the code.

搭建Spark 2.2.1 基于Hadoop 2.6.5 和 Ubuntu 16.0.4 记录

安装Scala

sudo apt-get install scala

然后终端输入scala -version验证scala版本即可.

如果没有任何提示,可以把scala的路径配置到环境变量中去,默认安装在/usr/share/scala-2.11

打开配置文件~/.bashrc, 新加入以下配置路径

export SCALA_HOME=/usr/share/scala-2.11
export PATH=$PATH:$SCALA_HOME/bin

然后终端输入source ~/.bashrc,使前面的配置生效.

下载Spark

在Spark下载页面选择已经配置好的Hadoop版本, 然后下载Spark,只有解压到/usr/local目录下即可

sudo tar -xzvf /home/mutex/Downloads/spark-2.2.1-bin-hadoop2.6.tgz -C /usr/local/

配置Spark

打开配置文件~/.bashrc, 新加入以下配置路径

export SPARK_HOME=/usr/local/spark-2.2.1-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin

然后终端输入source ~/.bashrc,使前面的配置生效.

进入到conf目录,生成并配置spark-env.sh文件

cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh
sudo vim spark-env.sh

新增以下配置路径

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export SCALA_HOME=/usr/local/spark-2.2.1-bin-hadoop2.6
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=4G

启动Spark

$SPARK_HOME/sbin/start-all.sh
jps

此处输入图片的描述

在浏览器中输入http://localhost:8080/如图看到有worker表示搭建完成.

此处输入图片的描述

简单例子

hadoop@mutex-dl:/usr/local/spark-2.2.1-bin-hadoop2.6/conf$ run-example SparkPi

直接给出结果:

Pi is roughly 3.135395676978385
阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Linux1s1s/article/details/79956891
文章标签: Spark 
个人分类: Big-Data
上一篇Kafka 2.11-0.11.0.2 伪分布式 基于Ubuntu16.0.4 配置记录
下一篇Design Patterns-Command
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭