docker hadoop集群配置

最新推荐文章于 2024-03-05 10:21:02 发布
最新推荐文章于 2024-03-05 10:21:02 发布
阅读量463 收藏 2
点赞数
分类专栏： 大数据 python docker 文章标签： python hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wywinstonwy/article/details/107884566
版权
python 同时被 3 个专栏收录
40 篇文章 1 订阅
订阅专栏
大数据
12 篇文章 1 订阅
订阅专栏
docker
7 篇文章 0 订阅
订阅专栏

环境

1、操作系统： CentOS  64位

网路设置

 

hostnameip
cluster-master172.18.0.2
cluster-slave1172.18.0.3
cluster-slave2172.18.0.4
cluster-slave3172.18.0.5

一、docker 安装

二、拉去centos最新版本镜像

docker pull centos

2.1 按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网

docker network create --subnet=172.18.0.0/16 netgroup

docker的子网创建完成之后就可以创建固定IP的容器了

#cluster-master
#-p 设置docker映射到容器的端口 后续查看web管理页面使用
docker run -d --privileged -ti -v /sys/fs/cgroup:/sys/fs/cgroup --name cluster-master -h cluster-master -p 18088:18088 -p 9870:9870 --net netgroup --ip 172.18.0.2 daocloud.io/library/centos /usr/sbin/init

#cluster-slaves
docker run -d --privileged -ti -v /sys/fs/cgroup:/sys/fs/cgroup --name cluster-slave1 -h cluster-slave1 --net netgroup --ip 172.18.0.3 daocloud.io/library/centos /usr/sbin/init

docker run -d --privileged -ti -v /sys/fs/cgroup:/sys/fs/cgroup --name cluster-slave2 -h cluster-slave2 --net netgroup --ip 172.18.0.4 daocloud.io/library/centos /usr/sbin/init

docker run -d --privileged -ti -v /sys/fs/cgroup:/sys/fs/cgroup --name cluster-slave3 -h cluster-slave3 --net netgroup --ip 172.18.0.5 daocloud.io/library/centos /usr/sbin/init

启动控制台并进入docker容器中：

docker exec -it cluster-master /bin/bash

2.2安装OpenSSH免密登录

2.2.1、cluster-master安装：

#cluster-master需要修改配置文件--特殊

#安装openssh
[root@cluster-master /]# yum -y install openssh openssh-server openssh-clients

[root@cluster-master /]# systemctl start sshd
####ssh自动接受新的公钥
####master设置ssh登录自动添加kown_hosts
[root@cluster-master /]# vi /etc/ssh/ssh_config
#将原来的StrictHostKeyChecking ask
#设置StrictHostKeyChecking为no
#保存
[root@cluster-master /]# systemctl restart sshd

2.2.2、分别对slaves安装OpenSSH

#进入容器
docker exec -it cluster-slave1 /bin/bash

#安装openssh
[root@cluster-slave1 /]#yum -y install openssh openssh-server openssh-clients

[root@cluster-slave1 /]# systemctl start sshd

2.2.3、cluster-master公钥分发

在master机上执行
ssh-keygen -t rsa
并一路回车，完成之后会生成~/.ssh目录，目录下有id_rsa（私钥文件）和id_rsa.pub（公钥文件），再将id_rsa.pub重定向到文件authorized_keys

ssh-keygen -t rsa
#碰见输入密码地方一路回车即可

[root@cluster-master /]# cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

文件生成之后用scp将公钥文件分发到集群slave主机

[root@cluster-master /]# ssh root@cluster-slave1 'mkdir ~/.ssh'
[root@cluster-master /]# scp ~/.ssh/authorized_keys root@cluster-slave1:~/.ssh
[root@cluster-master /]# ssh root@cluster-slave2 'mkdir ~/.ssh'
[root@cluster-master /]# scp ~/.ssh/authorized_keys root@cluster-slave2:~/.ssh
[root@cluster-master /]# ssh root@cluster-slave3 'mkdir ~/.ssh'
[root@cluster-master /]# scp ~/.ssh/authorized_keys root@cluster-slave3:~/.ssh

如果出现输入密码直接可以去对应slave创建文件，并从master拷贝。

分发完成之后测试(ssh root@cluster-slave1)是否已经可以免输入密码登录

Ansible安装

[root@cluster-master /]# yum -y install epel-release
[root@cluster-master /]# yum -y install ansible
#这样的话ansible会被安装到/etc/ansible目录下

此时我们再去编辑ansible的hosts文件

vi /etc/ansible/hosts

 

软件环境配置：

下载jdk,hadoop3 到/opt目录下，解压安装包，并创建链接文件

wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
tar -xzvf hadoop-3.3.0.tar.gz
ln -s hadoop-3.3.0 hadoop

配置java和hadoop环境变量

编辑 ~/.bashrc文件

# hadoop
export HADOOP_HOME=/opt/hadoop-3.3.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

#java
export JAVA_HOME=/opt/jdk8
export PATH=$HADOOP_HOME/bin:$PATH

执行命令使。bashrc文件生效

source .bashrc

配置hadoop运行所需配置文件

#进入hadoop目录进行配置
cd $HADOOP_HOME/etc/hadoop/

1、修改core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
    <!-- file system properties -->
    <property>
        <name>fs.default.name</name>
        <value>hdfs://cluster-master:9000</value>
    </property>
    <property>
    <name>fs.trash.interval</name>
        <value>4320</value>
    </property>
</configuration>

2、修改hdfs-site.xml

<configuration>
<property>
   <name>dfs.namenode.name.dir</name>
   <value>/home/hadoop/tmp/dfs/name</value>
 </property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>/home/hadoop/data</value>
 </property>
 <property>
   <name>dfs.replication</name>
   <value>3</value>
 </property>
 <property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>dfs.permissions.superusergroup</name>
   <value>staff</value>
 </property>
 <property>
   <name>dfs.permissions.enabled</name>
   <value>false</value>
 </property>
 </configuration>

3、修改mapred-site.xml

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property>
    <name>mapred.job.tracker</name>
    <value>cluster-master:9001</value>
</property>
<property>
  <name>mapreduce.jobtracker.http.address</name>
  <value>cluster-master:50030</value>
</property>
<property>
  <name>mapreduce.jobhisotry.address</name>
  <value>cluster-master:10020</value>
</property>
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>cluster-master:19888</value>
</property>
<property>
  <name>mapreduce.jobhistory.done-dir</name>
  <value>/jobhistory/done</value>
</property>
<property>
  <name>mapreduce.intermediate-done-dir</name>
  <value>/jobhisotry/done_intermediate</value>
</property>
<property>
  <name>mapreduce.job.ubertask.enable</name>
  <value>true</value>
</property>
</configuration>

4、yarn-site.xml

<configuration>
    <property>
   <name>yarn.resourcemanager.hostname</name>
   <value>cluster-master</value>
 </property>
 <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
 </property>
 <property>
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
 <property>
   <name>yarn.resourcemanager.address</name>
   <value>cluster-master:18040</value>
 </property>
<property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>cluster-master:18030</value>
 </property>
 <property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>cluster-master:18025</value>
 </property> <property>
   <name>yarn.resourcemanager.admin.address</name>
   <value>cluster-master:18141</value>
 </property>
<property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>cluster-master:18088</value>
 </property>
<property>
   <name>yarn.log-aggregation-enable</name>
   <value>true</value>
 </property>
<property>
   <name>yarn.log-aggregation.retain-seconds</name>
   <value>86400</value>
 </property>
<property>
   <name>yarn.log-aggregation.retain-check-interval-seconds</name>
   <value>86400</value>
 </property>
<property>
   <name>yarn.nodemanager.remote-app-log-dir</name>
   <value>/tmp/logs</value>
 </property>
<property>
   <name>yarn.nodemanager.remote-app-log-dir-suffix</name>
   <value>logs</value>
 </property>
</configuration>

打包hadoop 向slaves分发

tar -cvf hadoop-dis.tar hadoop hadoop-3.3.0

使用ansible-playbook分发.bashrc和hadoop-dis.tar至slave主机

---
- hosts: cluster
  tasks:
    - name: copy .bashrc to slaves
      copy: src=~/.bashrc dest=~/
      notify:
        - exec source
    - name: copy hadoop-dis.tar to slaves
      unarchive: src=/opt/hadoop-dis.tar dest=/opt

  handlers:
    - name: exec source
      shell: source ~/.bashrc

将以上yaml保存为playbook01.yml，并执行  参考文档

ansible-playbook playbook01.yml

hadoop-dis.tar会自动解压到slave主机的/opt目录下 

 

Hadoop 启动

格式化namenode

hadoop namenode -format

如果看到storage format success等字样，即可格式化成功 

再次启动集群服务：

start-all.sh

如果start-all.sh 出现报错：ERROR: Attempting to operate on hdfs namenode as root
        
        ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.

参考：https://www.cnblogs.com/Mr-nie/p/11133416.html

 

验证服务

访问：

http://host:18088
http://host:9870

 

 

hadoop 查看文件夹
./hadoop fs -ls /
创建文件夹
./hadoop fs -mkdir /test

上传文件：
./hadoop fs -put /Users/wangyun/Desktop/lala.txt /test/

查看文件
./hadoop fs -ls /test

读取文件
./hadoop fs -text /test/lala.txt

 

风雨「83」
关注
专栏目录
docker配置hadoop
09-28
001
如何解决Yarn管理页面的ApplicationHistory / History无法跳转到指定页面的问题
Andy的博客
01-10 5795
在介绍问题之前我先将自己搭建的大数据机器环境介绍一下:这里我是用VM-version12虚拟出了三台集群机器,分别是master --&gt; ip:192.168.153.10, slave1 --&gt; ip:192.168.153.11, slave2 --&gt; 190.168.153.12；在这三台机器上我分别搭建了Hadoop2.x的环境jdk1.8.0_172 等工具。 之前我...
windows10下docker的hadoop集群安装与配置
qq_37797234的博客
12-21 1252
docker ps -a docker images docker system prune docker ps -a docker run hello-world
docker部署hadoop
最新发布
qq_39006905的博客
03-05 834
hadoop单节点部docker部署
基于Docker搭建hdfs分布式实验环境
u013242054的博客
10-20 1907
HDFS（Hadoop Distributed File System），作为Google File System（GFS）的实现，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。导入成功后，源tar文件可以删除。/usr/local/hadoop/bin/hdfs dfs -put /usr/local/hadoop/spark.tar.gz /test # 将刚压缩的文件上传到/test目录上。
docker搭建hadoop集群（为分布式、完全分布式）
weixin_40548182的博客
08-27 9051
第1章 写在前面必读 1.1 Hadoop生态简单说明 说明：hadoop只是一个存储数据的平台，mapreduce是一个计算框架，需要编程人员去编写处理数据的程序。然后hadoop是一个生态，就是说在其上还运行着hbase数据库，sqoop，shark等等工具，这样才能将hadoop存储的数据加以利用。Hbase是一种时序数据库，可用来往hadoop写数据，并通过hadoop读取数据，搭建这些的时候还要用到zookeeper软件去管理消息。总之hadoop生态涉及的东西太多，学习起来复杂，但是并不难，就是
docker一键安装hadoop集群
10-14
4. **启动集群**：描述如何使用 `start-container.sh` 或 `start-file.sh` 启动 Docker 容器，并将它们配置为 Hadoop 集群。 5. **配置**：详细说明如何根据需求修改 `config` 目录中的配置文件，例如 core-site.xml...
Docker搭建Hadoop集群
12-26
里面包含Hadoop2.7，jdk1.8以及写好的Dockerfile文件，还有配置文件
Docker hadoop zookeeper hbase 配置文件
03-13
本配置文件集专注于利用 Docker 搭建一个 HBase 集群，其中涉及到的关键知识点包括 Docker 的基本操作、Hadoop 的分布式文件系统（HDFS）、Zookeeper 的协调服务以及 HBase 的数据存储模型。 首先，了解 Docker 是...
基于Docker搭建Hadoop集群(2).docx
09-06
"基于Docker搭建Hadoop集群" 在本文中，我们将介绍如何基于Docker搭建Hadoop集群。Hadoop是大数据处理的常用工具，而Docker则是当前最流行的容器化技术。通过将Hadoop部署到Docker容器中，我们可以更方便地管理和...
使用docker部署hadoop集群的详细教程
01-09
最近要在公司里搭建一个hadoop测试集群，于是采用docker来快速部署hadoop集群。 0. 写在前面 网上也已经有很多教程了，但是其中都有不少坑，在此记录一下自己安装的过程。 目标：使用docker搭建一个一主两从三台机器的hadoop2.7.7版本的集群 准备： 首先要有一台内存8G以上的centos7机器，我用的是阿里云主机。 其次将jdk和hadoop包上传到服务器中。 我安装的是hadoop2.7.7。包给大家准备好了，链接：https://pan.baidu.com/s/15n_W-1rqOd2cUzhfvbkH4g 提取码：vmzw。 1. 步骤 大致分以下几步： 安装
Hadoop基础学习笔记
m0_59839948的博客
09-18 6074
Hadoop基础学习笔记
【部署好Hadoop集群之后浏览器打不开9870、8088、19888监控端口。】
m0_61943338的博客
10-18 2745
Hadoop集群浏览器打不开监控端口
Flink配置Yarn日志聚合、配置历史日志。
myself_ning的博客
06-29 5580
yarn容器退出之后，默认是不保存日志的。所以需要开启JobHistoryServer. 无论Flink还是Spark都支持自建集群(standalone cluster)。但是为了保证稳定性和资源隔离等，生产环境里的任务最好借助资源管理框架(如Yarn)运行。 任务运行在yarn上，查询日志就可能不是很方便，尤其是任务进程异常退出之后。 ..................
Hadoop完全分布式集群——Hadoop 配置
weixin_42264536的博客
05-02 8789
前面已完成VMware虚拟机安装与配置（参考前一篇Hadoop完全分布式集群——VMware虚拟机安装与配置_夏雨和阳阳的博客-CSDN博客），下面将进行Hadoop 配置。 一、slave1、slave2节点配置修改 slave1、slave2节点都需要进行以下操作： 1.开启虚拟机，输入命令： [root@slave1 ~]#ip addr [root@slave2 ~]#ip addr 2.修改slave1、slave2虚拟机的IP [root@slave1 ~]#vi /etc/s
超详细的基于docker搭建hadoop集群
qq_48961214的博客
04-29 1万+
基于Docker搭建Hadoop集群
Docker镜像创建的三种方式（基于已有镜像、本地模板、Dockerfile）
热门推荐
u014042047的博客
09-24 3万+
文章目录一、Docker镜像概念二、Docker镜像的创建2.1 Docker镜像的创建方法2.2 基于已有镜像创建2.3 基于本地模板创建2.4 基于Dockerfile创建2.4.1 实战：构建SSH镜像2.4.2 构建systemctl镜像2.4.3 构建Nginx镜像2.4.4 构建Tomcat镜像2.4.5 构建MySQL镜像（MySQL 5.7） 一、Docker镜像概念 Docker 镜像是 Docker 容器运⾏时的只读模板，每⼀个镜像由⼀系列的层 (layers) 组成。Docker 使⽤
Docker 启动Centos
aiduohao2755的博客
03-19 176
dockerrun-d-e"container=docker"--privileged=true-v/sys/fs/cgroup:/sys/fs/cgroup--namecentos7centos/usr/sbin/init 　　 2. dockerexec-itab49ca003950/bin/bash 转载于:https://www.c...
docker安全特性（使用cgroup机制实现对容器资源的管理）
SS_CC_Go的博客
08-12 649
docker和虚拟机相比较而言，安全性上还是差一节，因为docker是依赖于宿主机内核的，无法真正的实现隔离，只能通过各种方式实现尽可能的安全隔离，docker利用Namespace实现了部分隔离，还有一些东西是无法隔离的，例如:/proc,/sys,/dev/sd*等目录未完全隔离，SElinux,time,syslog等所有namespace之外的信息都未隔离， 1、dcoker...
如何使用dockerhadoop集群
06-11
使用Docker搭建Hadoop集群的步骤如下： 1. 安装Docker和Docker Compose； 2. 创建一个Docker网络，以便Hadoop集群中的容器可以相互通信； 3. 编写一个Docker Compose文件，定义需要运行的容器和它们的配置； 4. ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

风雨「83」

你的鼓励将是我创作最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值