Docker上搭建Spark集群

最新推荐文章于 2024-05-03 11:44:49 发布
最新推荐文章于 2024-05-03 11:44:49 发布
阅读量252 收藏 3
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31405629/article/details/100102266
版权

640?wx_fmt=png

  Spark推荐系统，干货，心得 

  点击上方蓝字关注～

 

Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。实现快速部署，很适合做项目型的公司

1、Docker安装及配置

环境：Centos7

宿主机操作

yum install -y docker 安装docker

systemctl start docker.service 启动docker服务

docker pull centos 下载镜像

docker run -itd centos 创建第一个容器

docker ps #宿主机查看运行的容器

docker exec -it centos   /bin/bash #进入第一个容器

容器操作

yum -y install openssh-server

yum -y install openssh-clients    #安装ssh服务端及客户端

yum install -y net-tools   #安装net-tools   centos7 ifconfig查看ip用

yum install which -y  #安装which，运行hadoop需要

/usr/bin/sshd     ssh服务打开,并加入开机启动

vi ~/.bashrc   #配置环境变量，添加如下内容

#开机启动sshd服务

/usr/sbin/sshd

#环境变量

export JAVA_HOME=/usr/local/src/jdk1.8.0_144

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib

#HADOOP2.0

export HADOOP_HOME=/usr/local/src/hadoop-2.7.3

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

#SCALA

export SCALA_HOME=/usr/local/src/scala-2.12.3

#SPARK

export SPARK_HOME=/usr/local/src/spark-2.1.1-bin-hadoop2.7

#SBT

export SBT_HOME=//usr/local/src/sbt

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SBT_HOME/bin

退出容器 ctrl +c，并将该容器生成标准镜像

格式：

 docker commit    c1f2903a8aa1(CONTAINER ID，用 docker ps获取)     master（ 新的镜像的名字）

使用新镜像生成spark集群三台容器

环境：

172.17.0.2      master

172.17.0.3      slave1

172.17.0.4      slave2

注：由于docker容器空间较小，将宿主机进行文件挂载

docker run  --name master -h master --add-host master:172.17.0.2 --add-host slave1:172.17.0.3 --add-host slave2:172.17.0.4   -v /master:/usr/local/src/   -itd  master

#第一台  hostname为master

docker run --name slave1 -h slave1  --add-host master:172.17.0.2 --add-host slave1:172.17.0.3 --add-host  slave2:172.17.0.4   -v /slave1:/usr/local/src/     -itd master

#第二台  hostname为slave1

docker run --name slave2 -h slave2  --add-host master:172.17.0.2 --add-host slave1:172.17.0.3 --add-host  slave2:172.17.0.4   -v /slave2:/usr/local/src/     -itd master

#第三台  hostname为slave2

配置ssh免秘登录

分配登录到三台spark集群容器（master、slave1、 slave2）

分别执行ssh-keygen  ，按默认选项

master服务器： 

cd /root/.ssh/

cat id_rsa.pub >authorized_keys

分别到slave1，及slave2服务器

cat id_rsa.pub

复制内容到 master服务器 authorized_keys文件如图：640?wx_fmt=png

然后同步到slave1及slave2服务器

 scp -rp authorized_keys  slave1:~/.ssh/

 scp -rp authorized_keys  slave2:~/.ssh/

到此完毕并验证 ssh免秘钥登录 

2、hadoop安装及配置

环境：

172.17.0.2      master

172.17.0.3      slave1

172.17.0.4      slave2

在宿主机/master （容器master挂载的宿主机节点）文件夹下解压jdk、hadoop安装包

在宿主机进行配置hadoop

cd /master/hadoop-2.7.3/etc/hadoop/

vi hadoop-env.sh 添加 export JAVA_HOME=/usr/local/src/jdk1.8.0_144

vi yarn-env.sh添加 export JAVA_HOME=/usr/local/src/jdk1.8.0_144

slaves配置从节点

• core-site.xml配置下面配置

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/src/hadoop-2.7.3/tmp</value>

</property>

</configuration>

• 在HAOOP_HOME创建目录：

• ]# mkdir tmp

• ]# mkdir -p dfs/name

• ]# mkdir -p dfs/data

hdfs-site.xml配置下面配置：

<configuration>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>master:9001</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/src/hadoop-2.7.3/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/src/hadoop-2.7.3/dfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

</configuration>

cp mapred-site.xml.template mapred-site.xml

并配置

mapred-site.xml配置

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

yarn-site.xml配置

<configuration>

<!-- Site specific YARN configuration properties -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8035</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>yarnmaster:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

</configuration>

配置完毕，将配件文件分发到两台从docker容器对应的宿主机挂载节点

[root@localhost master]# pwd

/master

[root@localhost master]# cp -rm hadoop-2.7.3 /slave1/

[root@localhost master]# cp -rm hadoop-2.7.3 /slave2/

同理把jdk文件也进行拷贝

测试hadoop

]# hadoop namenode -format

]# start-all.sh

640?wx_fmt=png

640?wx_fmt=png

3、SPARK安装及配置

在宿主机/master （容器master挂载的宿主机节点）文件夹下解压spark、scala安装包

cd /master/spark-2.1.1-bin-hadoop2.7/conf/

cp spark-env.sh.template spark-env.sh

vi spark-env.sh   #添加如下内容

export JAVA_HOME=/usr/local/src/jdk1.8.0_144

export SCALA_HOME=/usr/local/src/scala-2.12.3

export HADOOP_HOME=/usr/local/src/hadoop-2.7.3

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

SPARK_MASTER_IP=master

SPARK_LOCAL_DIRS=/usr/local/src/spark-2.1.1-bin-hadoop2.7

SPARK_DRIVER_MEMORY=1G

cp slaves.template slaves  并配置

640?wx_fmt=png

最后将配置好的spark、scala安装目录，分发到slave1/2节点上（跟hadoop、jdk文件拷贝同理）

[root@localhost master]# cp -rp spark-2.1.1-bin-hadoop2.7  /slave1/

[root@localhost master]# cp -rp spark-2.1.1-bin-hadoop2.7  /slave2/

启动spark：进入到spark家目录  执行 ./sbin/start-all.sh640?wx_fmt=png

640?wx_fmt=png

配置主机到 容器的映射（宿主机进行操作）

iptables -t nat -A  DOCKER -p tcp --dport  8088   -j DNAT --to-destination 172.20.0.2:8088

iptables -t nat -A  DOCKER -p tcp --dport  18042   -j DNAT --to-destination 172.17.0.6:8042

iptables -t nat -A  DOCKER -p tcp --dport  18042   -j DNAT --to-destination 172.17.0.6:8042

640?wx_fmt=jpeg

长按识别二维码关注我们

一起来唠唠呗2_06.png

echoy_189
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Docker 搭建Spark集群
dw147258dw的专栏
04-10 1004
jdk 从oracle官网进行下载，复制相应下载链接.我是在本地下载后上传到linux上，再docker cp到容器里.在linux上命令如下。生成新镜像，此处取名为my-ssh-centos7。配置hdfs-site.xml,设置副本数和NameNode、DataNode的目录路径。参考csdn等文章，利用docker安装spark。用虚拟化容器模拟出三个节点。再度进入容器后，执行下列操作，设置ssh免密登录。配置mapred-site.xml。配置yarn-site.xml。进入容器后，进行下列操作。
用 Docker 搭建 Spark 集群
热门推荐
yeasy的专栏
09-22 1万+
简介 Spark 是 Berkeley 开发的分布式计算的框架，相对于 Hadoop 来说，Spark 可以缓存中间结果到内存而提高某些需要迭代的计算场景的效率，目前收到广泛关注。 熟悉 Hadoop 的同学也不必担心，Spark 很多设计理念和用法都跟 Hadoop 保持一致和相似，并且在使用上完全兼容 HDFS。但是 Spark 的安装并不容易，依赖包括 Java、Scala、HD
使用docker搭建spark分布式集群
weixin_41521681的博客
03-06 635
集群镜像制作好了，并且上传到Docker_hub 中的reganzm/spark_cluster，可以使用docker search reganzm/spark_cluster，然后把 这个镜像Pulll到本地，使用上面的build_network.sh，start_container.sh分别构建网络，启动容器就可以一键启动集群学习环境了！ 从Docker Hub上拉取docker.io/re...
docker6_搭建spark集群
qq_45972323的博客
05-26 818
docker
通过docker搭建spark集群
qq_34648165的博客
01-28 391
使用如下命令创建一个容器 docker run -tid --name spark-server -v /opt/install:/opt/install -h spark_server tfws/hadoop-baseenv:v1.2 /usr/sbin/init 下载spark的安装包 https://downloads.lightbend.com/scala/2.13.1/scala-2.13.1.tgz 将下载的安装包上传到容器中 解压安装包 mkdir -p /usr/loca..
docker中搭建Spark集群
YBK233
11-04 758
注意：在Hadoop集群搭建完成的基础上进行此种操作；我是三台虚拟机同时进行安装操作，当然也可以通过scp方式进行虚拟机直接文件的传递，在此不表。 首先安装scala 下载地址：https://www.scala-lang.org/download/ 根据自己需要进行选择，我选择的是scala-2.12.7.tgz,然后将安装包放到共享目录下 1、创建镜像容器 -P将容器的所有端口映射到主机端口 ...
使用Docker搭建Spark集群
pjyex的博客
03-02 790
本次使用big-data-europe/docker-spark: Apache Spark docker image方便地进行Spark开发环境的搭建。 首先需要先准备一个docker-compose.yml文件，文件内容如下： version: '2' services: spark-master: image: bde2020/spark-master:2.4.4-hadoop2...
使用docker快速搭建Spark集群的方法教程
09-30
通过使用 Docker，可以快速的在本地搭建一套 Spark 环境，方便大家开发 Spark 应用，或者扩展到...下面这篇文章主要给大家介绍了使用docker快速搭建Spark集群的方法教程，需要的朋友可以参考借鉴，下面来一起看看吧。
docker下，极速搭建spark集群(含hdfs集群)(1)
2401_84048338的博客
04-14 664
总的来说，面试是有套路的，一面基础，二面架构，三面个人。最后，小编这里收集整理了一些资料，其中包括面试题（含答案）、书籍、视频等。希望也能帮助想进大厂的朋友《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！” />总的来说，面试是有套路的，一面基础，二面架构，三面个人。最后，小编这里收集整理了一些资料，其中包括面试题（含答案）、书籍、视频等。希望也能帮助想进大厂的朋友[外链图片转存中…(img-elUImonl-1713078244537)]
使用Docker安装Spark集群(带有HDFS)
Sicilly的博客
12-16 4904
本实验在CentOS 7中完成 第一部分：安装Docker 这一部分是安装Docker，如果机器中已经安装过Docker，可以直接跳过 [root@VM-48-22-centos ~]# systemctl stop firewalld [root@VM-48-22-centos ~]# systemctl disable firewalld [root@VM-48-22-centos ~]# systemctl status firewalld [root@VM-48-22-centos ~]# sete
基于docker的Spark高可靠集群搭建
02-22
基于docker的Spark高可靠集群搭建，可适用于swarm集群,Mesos集群和K8s集群。
docker 构建spark集群
yinzhiyan43的博客
06-06 658
1． 准备工具 Hadoop-2.8.0.tar.gz，scala-2.12.2.tgz，spark-2.1.1-bin-hadoop2.7.tgz，zookeeper-3.4.6.tar.gz，jdk-8u73-linux-x64.tar.gz 2． 安装工具 一些工具都放到~/software目录下 docker pull ubuntu:14.04 docker run –nam
docker 搭建spark集群
weixin_30530939的博客
08-26 261
借鉴：https://blog.csdn.net/u013705066/article/details/80030732下面这个例子让我感受到docker的便捷和强大。两行命令搭建spark集群：1.准备一个docker-compose.yml配置文件，描述集群结构及必要参数 version: "2" services: master: image: singul...
Docker 搭建Spark_hadoop集群
无恋-zx的博客
11-15 1411
Docker 搭建Spark 依赖singularities/spark:2.2镜像 singularities/spark:2.2版本中 Hadoop版本：2.8.2 Spark版本: 2.2.1 Scala版本：2.11.8 Java版本：1.8.0_151 拉取镜像： [root@localhost docker-spark-2.1.0]# docker pull singu...
2024年阿里首次分享：内部（珠峰版)Java笔记，看完直接斩获12家offer
最新发布
m0_72758098的博客
05-03 483
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
Docker搭建hadoop和spark集群
escapeape的博客
04-01 1259
在宿主机器的浏览器输入0.0.0.0:8080 就可以查看spark集群的运行状况。在宿主机器的浏览器输入0.0.0.0:8080 就可以查看spark集群的运行状况。6.拉取的镜像的环境变量默认配置在/etc/profile中。6.拉取的镜像的环境变量默认配置在/etc/profile中。选择conda来管理python虚拟环境。选择conda来管理python虚拟环境。拉取的镜像没有配置spark,手动配置。拉取的镜像没有配置spark,手动配置。4. 使用conda创建虚拟环境。
一台linux服务器做docker集群,使用docker快速搭建Spark集群的方法教程
weixin_33953322的博客
04-28 418
前言spark 是 berkeley 开发的分布式计算的框架，相对于 hadoop 来说，spark 可以缓存中间结果到内存而提高某些需要迭代的计算场景的效率，目前收到广泛关注。下面来一起看看使用docker快速搭建spark集群的方法教程。适用人群正在使用spark的开发者正在学习docker或者spark的开发者准备工作安装docker(可选)下载java和spark with hadoops...
在基于docker的Hadoop集群上搭建Spark
Marksman_zhu的博客
09-08 807
Install Hadoop Clustering 1.      Run a docker container within boot2docker vm Docker run –it –v /c/User/liming.zhu/boot2dockerfoder:/hostFolder–name hadoopYarn 2.      Install java within the dock
docker搭建spark集群
03-31
要在Docker上搭建Spark集群，需要执行以下步骤： 1. 安装Docker和Docker Compose 确保已经安装了Docker和Docker Compose，如果没有安装，可以按照官方文档进行安装。 2. 创建Docker镜像 创建一个Dockerfile文件，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值