Spark伪分布式搭建

Spark分布式搭建

利用spark(2.1.1)和hadoop(2.8.0)最新版

一、下载spark

Spark地址:版本

https://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bin-hadoop2.7.tgz

二、下载scala

此处scala版本要注意scala版本,spark有版本限制

这边可以看到用了scala2.11的大版本,这边小版本随意,就下载2.11.11版本的scala

下载地址:https://downloads.lightbend.com/scala/2.11.11/scala-2.11.11.tgz

三、下载hadoop(因为大数据生态圈离不开hdfs)

这边我们下载的spark依赖hadoop 2.7+

下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

四、下载jdk

Spark2.11.11以来jdk+

下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

五、解压各个项目,配置环境变量

vim /etc/profile

SPARK_HOME=/home/XXXX/software/spark-2.1.1-bin-hadoop2.7

SCALA_HOME=/usr/scala/scala-2.11.11

JAVA_HOME=/usr/java/jdk1.8.0_131

PATH=$PATH:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:$JAVA_HOME/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$PARK_HOME/bin:$SPARK/sbin

在文件开头输入

由于此配置文件重启生效,为了不重启,我们可以输入如下命令:

source /etc/profile

六、配置spark

进入spark路径

cd  /home/XXXX /software/spark-2.1.1-bin-hadoop2.7/conf

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

增加如下配置

·

export SPARK_MASTER_IP=192.168.126.128

cp spark-defaults.conf.template spark-defaults.conf

增加如下配置:

spark.master.ip                  192.168.126.128#本机ip

spark.master                     spark://192.168.126.128:7077

spark.driver.bindAddress         192.168.126.128

spark.driver.host                192.168.126.128

cp slaves.template slaves

vim slaves

增加如下配置

192.168.126.128 #设置本地ip,即为伪分布式

五、配置ssh免登录

ssh-keygen -t rsa

回车

 cat id_rsa.pub >> .ssh/authorized_keys

 chmod 700 .ssh/

 chmod 600 .ssh/authorized_keys

这样就能面密码登陆了

六、启动spark

cd  /home/XXXX /software/spark-2.1.1-bin-hadoop2.7/sbin

./start-all.sh#启动spark

七、访问http://192.168.126.128:8080/


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值