单机基于docker搭建hadoop2.7.1 spark1.7 高可用集群

最新推荐文章于 2022-04-26 22:05:25 发布
最新推荐文章于 2022-04-26 22:05:25 发布
阅读量2.9k 收藏 2
点赞数
分类专栏： hadoop/impala/spark zookeeper java 综合
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/larrylgq/article/details/48730763
版权
hadoop/impala/spark 同时被 3 个专栏收录
19 篇文章 0 订阅
订阅专栏
java
19 篇文章 0 订阅
订阅专栏
综合
10 篇文章 0 订阅
订阅专栏

获取ubuntu镜像

sudo docker pull ubuntu

分别下载 spark1.7 hadoop2.7.1 scala1.1 zookeeper3.4.6 jdk1.8 解压后放置本地文件夹用于挂载到容器中

并在文件夹下创建文件
 
authorized_keys
hosts

本例目录使用/home/docker/config

启动容器

sudo docker run --name installspark -v /home/docker/config/:/config -it ubuntu:14.04

安装

启动后在容器内/config文件夹下能够看到放置的安装文件

安装jdk,scala :

vim ~/.bashrc
追加: 
/usr/sbin/sshd
cat /config/hosts > /etc/hosts
cat /config/authorized_keys > /root/.ssh/authorized_keys
export JAVA_HOME=/usr/lib/jvm/java-8-sun
export PATH=${JAVA_HOME}/bin:$PATH
export HADOOP_HOME=/opt/hadoop
export PATH=${HADOOP_HOME}/bin:$PATH
export SCALA_HOME=/opt/scala 
export PATH=${SCALA_HOME}/bin:$PATH
export SPARK_HOME=/opt/spark
export PATH=${SPARK_HOME}/bin:$PATH

拷贝 spark/hadoop/zookeeper到/opt下


安装hadoop:

创建文件夹:/opt/hadoop/namenode /opt/hadoop/datanode /opt/hadoop/tmp /opt/hadoop/journal
 
root@nn1:/opt/hadoop/etc/hadoop# vim hadoop-env.sh
修改: 
export JAVA_HOME=/usr/lib/jvm/java-8-sun
root@nn1:/opt/hadoop/etc/hadoop# vim core-site.xml 
添加: 
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>dnzk1:2181,dnzk2:2181,dnzk3:2181</value>
</property>

root@nn1:/opt/hadoop/etc/hadoop#vim hdfs-site.xml
添加: 
<property>
 <name>dfs.datanode.data.dir</name>
 <value>file:/opt/hadoop/datanode</value>
 </property>
 <property>
 <name>dfs.namenode.name.dir</name>
 <value>file:/opt/hadoop/namenode</value>
 </property>
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>nn1:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>nn1:50070</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>nn2:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>nn2:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://dnzk1:8485;dnzk2:8485;dnzk3:8485/ns1</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/hadoop/journal</value>
</property>
<property>
        <name>dfs.journalnode.http-address</name>
        <value>0.0.0.0:8480</value>
</property>
<property>
        <name>dfs.journalnode.rpc-address</name>
        <value>0.0.0.0:8485</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>
        sshfence
        shell(/bin/true)
</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
<property>
        <name>dfs.permissions</name>
        <value>false</value>
</property>


vim mapred-site.xml
添加: 

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

root@nn1:/opt/hadoop# vim /opt/hadoop/etc/hadoop/yarn-site.xml

添加:

<property>
                <name>yarn.resourcemanager.ha.enabled</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.resourcemanager.cluster-id</name>
                <value>RM_HA_ID</value>
        </property>
        <property>
                <name>yarn.resourcemanager.ha.rm-ids</name>
                <value>rm1,rm2</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname.rm1</name>
                <value>rm1</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname.rm2</name>
                <value>rm2</value>
        </property>
        <property>
                <name>yarn.resourcemanager.recovery.enabled</name>
                <value>true</value>
        </property><pre name="code" class="html">        <property>
<name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> </property> <property> <name>yarn.resourcemanager.zk-address</name> <value>dnzk1:2181,dnzk2:2181,dnzk3:2181</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> 
 
 

 

root@nn1:/opt/hadoop# vim /opt/hadoop/etc/hadoop/slaves
 

添加:
 

 

dnzk1
dnzk2
dnzk3
 

 
  

 

 

安装spark
 
root@nn1:/opt/spark/conf# vim spark-env.sh
 添加:
  

export SPARK_MASTER_IP=nn1   
export SPARK_WORKER_MEMORY=256m
export JAVA_HOME=/usr/lib/jvm/java-8-sun
export SCALA_HOME=/opt/scala
export SPARK_HOME=/opt/spark
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
export SPARK_LIBRARY_PATH=$$SPARK_HOME/lib
export SCALA_LIBRARY_PATH=$SPARK_LIBRARY_PATH
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_MASTER_PORT=7077
 

 root@nn1:/opt/spark/conf# vim slaves 

 

添加:
 
 

nn1
nn2
rm1
rm2
dnzk1
dnzk2
dnzk3
 

 

 

安装zookeeper
 

 

创建文件夹 /opt/zookeeper/tmp 
 创建文件 /opt/zookeeper/tmp/myid
 echo 1 > /opt/zookeeper/tmp/myid
 root@nn1:/opt/zookeeper/conf# vim zoo.cfg
 修改
 
 

dataDir=/opt/zookeeper/tmp
server.1=dnzk1:2888:3888
server.2=dnzk2:2888:3888
server.3=dnzk3:2888:3888
 

 

 

 

生成密钥
 
 

ssh-keygen -t dsa
 

 追加id_dsa.pub到宿主机的/home/docker/config/authorized_keys文件 

 

root@nn1:/opt/hadoop# cat ~/.ssh/id_dsa.pub
 

执行
 

 

sudo docker commit -m "namenode1" installspark ubuntu:ns1
 

 

 
 修改本地宿主机/home/docker/config/hosts文件
 添加
  

 

172.17.0.11	nn1
172.17.0.12     nn2
172.17.0.13     rm1
172.17.0.14     rm2
172.17.0.15     dnzk1
172.17.0.16     dnzk2
172.17.0.17     dnzk3
 

 


 
 

启动docker
 

 

sudo docker run --name dnzk1 -h dnzk1 --net=none -p 2185:2181 -p 50075:50070 -p 9005:9000 -p 8485:8485 -p 7075:7077 -p 2885:2888 -v /home/docker/config/:/config -it spark1_7-hadoop2_7_1-scala1_1:basic
sudo docker run --name dnzk2 -h dnzk2 --net=none -p 2186:2181 -p 50076:50070 -p 9006:9000 -p 8486:8485 -p 7076:7077 -p 2886:2888 -v /home/docker/config/:/config -it spark1_7-hadoop2_7_1-scala1_1:basic
sudo docker run --name dnzk3 -h dnzk3 --net=none -p 2186:2181 -p 50076:50070 -p 9006:9000 -p 8486:8485 -p 7076:7077 -p 2887:2888 -v /home/docker/config/:/config -it spark1_7-hadoop2_7_1-scala1_1:basic
sudo docker run --name nn1 -h nn1 --net=none -p 2181:2181 -p 50071:50070 -p 9001:9000 -p 8481:8485 -p 7071:7077 -p 2881:2888 -v /home/docker/config/:/config -it spark1_7-hadoop2_7_1-scala1_1:basic
sudo docker run --name nn2 -h nn2 --net=none -p 2182:2181 -p 50072:50070 -p 9002:9000 -p 8482:8485 -p 7072:7077 -p 2882:2888 -v /home/docker/config/:/config -it spark1_7-hadoop2_7_1-scala1_1:basic
sudo docker run --name rm1 -h rm1 --net=none -p 2183:2181 -p 50073:50070 -p 9003:9000 -p 8483:8485 -p 7073:7077 -p 2883:2888 -v /home/docker/config/:/config -it spark1_7-hadoop2_7_1-scala1_1:basic
sudo docker run --name rm2 -h rm2 --net=none -p 2184:2181 -p 50074:50070 -p 9004:9000 -p 8484:8485 -p 7074:7077 -p 2884:2888 -v /home/docker/config/:/config -it spark1_7-hadoop2_7_1-scala1_1:basic
dnzk2(执行echo 2 > /opt/zookeeper/tmp/myid),dnzk2(执行echo 3 > /opt/zookeeper/tmp/myid) 

 

 

配置网络
 

 

 

sudo pipework docker0 -i eth0 nn1 172.17.0.11/16
sudo pipework docker0 -i eth0 nn2 172.17.0.12/16
sudo pipework docker0 -i eth0 rm1 172.17.0.13/16
sudo pipework docker0 -i eth0 rm2 172.17.0.14/16
sudo pipework docker0 -i eth0 dnzk1 172.17.0.15/16
sudo pipework docker0 -i eth0 dnzk2 172.17.0.16/16
sudo pipework docker0 -i eth0 dnzk3 172.17.0.17/16
 

 

 

 

  

 
 
启动hadoop集群
 

 
在dnzk1/dnzk2/dnzk3上启动zookeeper和 hadoop journal
  

/opt/zookeeper/bin/zkServer.sh start
/opt/hadoop/sbin/hadoop-daemon.sh start journalnode
 

 在nn1上格式化zookeeper启动和format hadoop 

 

/opt/hadoop/bin/hdfs namenode -format
 

scp -r /opt/hadoop/namenode/ nn2:/opt/hadoop/
 

或
 

/opt/hadoop/bin/hdfs namenode -bootstrapStandby
 

 

/opt/hadoop/bin/hdfs zkfc -formatZK
 

 

/opt/hadoop/sbin/start-dfs.sh
 

 

 

 在rm1上启动yarn 

/opt/hadoop/sbin/start-yarn.sh
 

 在rm2上启动 

/opt/hadoop/sbin/yarn-daemon.sh start resourcemanager
 

 

启动spark
 

 

/opt/spark/sbin/start-all.sh
 

 

 

 

 

 查看: 

 http://172.17.0.11:50070 (active) 

 

http://172.17.0.12:50070(standby)
 


 
 

启动后集群服务情况
 

nn1        172.17.0.11        jdk、hadoop                   NameNode、DFSZKFailoverController(zkfc)
 

nn2        172.17.0.12        jdk、hadoop                   NameNode、DFSZKFailoverController(zkfc)
 

rm1        172.17.0.13        jdk、hadoop                   ResourceManager
 

rm2        172.17.0.14        jdk、hadoop                   ResourceManager
 

dnzk1      172.17.0.15        jdk、hadoop、zookeeper        DataNode、NodeManager、JournalNode、QuorumPeerMain
 

dnzk2      172.17.0.16        jdk、hadoop、zookeeper        DataNode、NodeManager、JournalNode、QuorumPeerMain
 

dnzk3      172.17.0.17        jdk、hadoop、zookeeper        DataNode、NodeManager、JournalNode、QuorumPeerMain
 


 

                

        

        

    

  


    

      

        

            

              
                
                  葑岚
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
基于docker搭建hadoop+spark+hive+hbase集群的过程

				
			

			

				

					阿啄debugIT
				

				

					01-07
					
					2716
					
				

			

		

		

			
				
目录

1.安装docker

 1.1.安装docker 

 1.2.更改为公司本地镜像源，或者阿里镜像源

 1.3.设置为默认启动

  1.4.重启docker,测试hello-world

  1.5.安装docker-compose

  1.6.关闭selinux

  1.7下载各种安装包

2.安装centos+jdk镜像

3.安装hadoop...

			
		

	



                

              
                



	

		

			

				
					
Docker本地搭建Hadoop高可用,Hbase,Spark,Flink,Zookeeper集群_基于docker容器,搭建hadoop+spark+hive+hbase+zookeeper sca

					
最新发布

				
			

			

				

					2301_82243558的博客
				

				

					04-29
					
					1081
					
				

			

		

		

			
				
links:            # 连接本compose文件创建的container。external_links:   # 连接本compose文件以外的container。external_links:  # 连接本compose文件以外的container。external_links:  # 连接本compose文件以外的container。- “9091:9092”   # 将容器的9092端口映射到宿主机的9091端口上。container_name: master # 节点名称。

			
		

	



                


  
              

                


	

		

			

				
					
基于docker的Spark高可靠集群搭建

				
			

			

				

					02-22
				

			

		

		

			
				
基于docker的Spark高可靠集群搭建，可适用于swarm集群,Mesos集群和K8s集群。

			
		

	





	

		

			

				
					
单机Docker搭建Hadoop/Spark环境

				
			

			

				

					chongyuangeng1295的博客
				

				

					02-28
					
					396
					
				

			

		

		

			
				
环境： 
 主机系统：Ubuntu16.04 SLT 
 docker版本：1.12.6 
搭建： 
1.安装docker: 
2.下载Ubuntu镜像 
3. 启动镜像： 
docker run -it ubuntu:latest /bin/bash 
...

			
		

	



		

			
		



	

		

			

				
					
(完整，亲测)docker hadoop 2.7.1

				
			

			

				

					weixin_34111790的博客
				

				

					11-17
					
					375
					
				

			

		

		

			
				
0.准备工作
下载 centos
[root@bogon soft]# docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
docker.io/centos    latest       ...

			
		

	





	

		

			

				
					
docker-hadoop, 在Ubuntu上，用于运行Hadoop的Dockerfile.zip

				
			

			

				

					09-18
				

			

		

		

			
				
docker-hadoop, 在Ubuntu上，用于运行Hadoop的Dockerfile Hadoop的 Docker 映像 支持的标签和相应的Dockerfile 链接2.6.0/Dockerfile2.5.2/Dockerfile2.5.1/Dockerfile2.5.0/Dockerfile2.4.

			
		

	





	

		

			

				
					
基于Docker的高可用解决方案

				
			

			

				

					qq_39581763的博客
				

				

					06-01
					
					5997
					
				

			

		

		

			
				
Docker从2013年发布第一个版本以来，已经火遍全球，技术迭代也比较频繁，其周边产品和技术也越来越丰富。Docker的轻量级容器不仅实现了资源隔离，而且几乎可以运行在任何地方，使得部署和扩展变得非常容易，随着Docker的日趋完善，目前Docker已经被越来越多的公司应用到生产环境中。一、docker简介Docker是一个由GO语言写的程序运行的“容器”（Linux containers， L...

			
		

	





	

		

			

				
					
mac上基于docker搭建hadoop集群

				
			

			

				

					01-20
				

			

		

		

			
				
按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网 docker network create –subnet=172.18.0.0/16 netgroup 对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和...

			
		

	





	

		

			

				
					
基于Docker搭建Hadoop集群(2).docx

				
			

			

				

					09-06
				

			

		

		

			
				
"基于Docker搭建Hadoop集群"  在本文中，我们将介绍如何基于Docker搭建Hadoop集群。Hadoop是大数据处理的常用工具，而Docker则是当前最流行的容器化技术。通过将Hadoop部署到Docker容器中，我们可以更方便地管理和...

			
		

	





	

		

			

				
					
基于docker的hadoop高可靠集群搭建

				
			

			

				

					02-22
				

			

		

		

			
				
基于docker构建hadoop分布式集群，可以适用于swarm云，k8s云，mesos云。

			
		

	





	

		

			

				
					
hadoop HDP docker镜像部署

				
			

			

				

					11-01
				

			

		

		

			
				
hadoop HDP docker镜像部署

			
		

	





	

		

			

				
					
在Docker中跑Hadoop与镜像制作方法

				
			

			

				

					09-29
				

			

		

		

			
				
主要介绍了在Docker中跑Hadoop与镜像制作方法，本文通过实例代码和截图的形式给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下

			
		

	





	

		

			

				
					
impala的安装

				
			

			

				

					04-28
				

			

		

		

			
				
Impala的最大特点也是最大卖点就是它的快速，它是基于Hive的大数据实时分析查询引擎，这里详细介绍了如何安装。

			
		

	





	

		

			

				
					
Hadoop2.7.1安装教程_单机/伪分布式_Ubuntu14.04

				
			

			

				

					一条正弦
				

				

					11-18
					
					1026
					
				

			

		

		

			
				
Hadoop2.7.1安装教程_单机/伪分布式_Ubuntu14.04Ubuntu14.04安装准备工作创建hadoop用户更新apt更改软件源安装vimvim操作安装SSH、配置SSH无密码登录安装java环境安装hadoopHadoop单机配置Hadoop伪分布式配置引用
Ubuntu14.04安装
具体的安装过程参考我的上一篇博客Ubuntu14.04双系统安装
由于电脑配置，选择双系统安装...

			
		

	





	

		

			

				
					
快速构建hadoop2.7.0单机版docker镜像

				
			

			

				

					0x8g1T9E-
				

				

					12-06
					
					357
					
				

			

		

		

			
				
本文会搭建一个伪分布式版hadoop集群，用于CI测试非常方便。

准备
准备的文件结构如下：


├── dockerfile
├── hadoop
│  ├── core-site.xml
│  ├── hadoop-2.7.7.tar.gz
│  ├── hdfs-site.xml
│  ├── mapred-site.xml
└── start-service.sh



hadoop的安装包下载：https://apache.website-solution.net/hadoop/comm...

			
		

	





	

		

			

				
					
基于docker构建spark运行环境

				
			

			

				

					weixin_45795947的博客
				

				

					04-26
					
					4279
					
				

			

		

		

			
				
基于docker技术进行spark环境搭建的实验

			
		

	





	

		

			

				
					
利用docker搭建hadoop的开发环境（simple）

				
			

			

				

					liyabing1的博客
				

				

					04-02
					
					492
					
				

			

		

		

			
				
前言
本文是基于ubuntu环境完成的，要完成hadoop的安装，必须先在ubuntu上安装docker,



一、下载hadoop镜像
1、换到root用户

执行su root

这样做是方便执行命令

2、下载镜像

执行docker sea...

			
		

	





	

		

			

				
					
Hadoop的Docker镜像构建

				
			

			

				

					weixin_30883271的博客
				

				

					12-08
					
					196
					
				

			

		

		

			
				
1、Dockerfile

###Dockerfile   -- beagin
FROM ubuntu:trusty
#MAINTAINER The Hue Team "https://github.com/cloudera/hue"

RUN apt-get update -y

RUN apt-get install -y software-properties-common
...

			
		

	





	

		

			

				
					
docker制作hadoop镜像

				
			

			

				

					惊云
				

				

					03-30
					
					719
					
				

			

		

		

			
				
环境：
Centos 8.1
hadoop 3.3.0
1，阿里yum源下载地址
wget https://mirrors.aliyun.com/repo/Centos-8.repo

1,拉取Centos8.1镜像
[root@centos8 build]# docker pull centos:8.1.1911   
8.1.1911: Pulling from library/centos
8a29a15cefae: Pull complete 
Digest: sha256:fe8d82422041

			
		

	





	

		

			

				
					
Mac上使用Docker搭建Hadoop集群教程

				
			

			

				

					
				

			

		

		

			
				
"该资源是关于在Mac操作系统上使用Docker搭建Hadoop集群的教程，主要涉及了如何拉取CentOS8镜像、构建Docker网络子网、配置各节点角色以及启动容器的步骤。"  在搭建Hadoop集群的过程中，首先需要确保你的Mac系统...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值