docker安装hadoop集群

最新推荐文章于 2024-06-09 19:06:15 发布
最新推荐文章于 2024-06-09 19:06:15 发布
阅读量505 收藏
点赞数
分类专栏： docker 文章标签： docker hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aidy2008/article/details/104736649
版权

docker安装hadoop集群

安装Docker

[root@container ~]# yum install docker -y
[root@container ~]# systemctl restart docker

 

装载原始Centos7镜像

[root@container ~]# cd centos
[root@container centos]# ll
总用量 206236
-rw-r--r--. 1 root root 211182080 2月  27 23:20 centos7.tar
[root@container centos]# docker load<centos7.tar 
77b174a6a187: Loading layer 211.2 MB/211.2 MB
Loaded image: docker.io/centos:7

构建本地Centos镜像

编辑Dockerfile

以 centos 镜像为基础，安装SSH的相关包，设置了root用户的密码为 toor，并启动SSH服务

[root@container centos]# vi Dockerfile 
FROM docker.io/centos:7
​
RUN yum install -y openssh-server sudo httpd
RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config
RUN yum  install -y openssh-clients
​
RUN echo "root:toor" | chpasswd
RUN echo "root ALL=(ALL) ALL" >> /etc/sudoers
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key
​
RUN mkdir /var/run/sshd
EXPOSE 22
CMD ["/usr/sbin/sshd", "-D"]
[root@container centos]#

创建镜像

[root@container centos]#  docker build -t centos7-ssh .
Sending build context to Docker daemon 211.2 MB
Step 1/11 : FROM docker.io/centos:7
 ---> 5e35e350aded
Step 2/11 : RUN yum install -y openssh-server sudo httpd
 ---> Running in 4a253d3c3bc4
​
Loaded plugins: fastestmirror, ovl
Determining fastest mirrors
 * base: mirrors.aliyun.com
 * extras: mirrors.aliyun.com
 * updates: mirrors.cn99.com
Resolving Dependencies
--> Running transaction check
---> Package httpd.x86_64 0:2.4.6-90.el7.centos will be installed
--> Processing Dependency: httpd-tools = 2.4.6-90.el7.centos for package: httpd-2.4.6-90.el7.centos.x86_64
--> Processing Dependency: system-logos >= 7.92.1-1 for package: httpd-2.4.6-90.el7.centos.x86_64
--> Processing Dependency: /etc/mime.types for package: httpd-2.4.6-90.el7.centos.x86_64
--> Processing Dependency: libaprutil-1.so.0()(64bit) for package: httpd-2.4.6-90.el7.centos.x86_64
--> Processing Dependency: libapr-1.so.0()(64bit) for package: httpd-2.4.6-90.el7.centos.x86_64
---> Package openssh-server.x86_64 0:7.4p1-21.el7 will be installed
--> Processing Dependency: openssh = 7.4p1-21.el7 for package: openssh-server-7.4p1-21.el7.x86_64
--> Processing Dependency: fipscheck-lib(x86-64) >= 1.3.0 for package: openssh-server-7.4p1-21.el7.x86_64
--> Processing Dependency: libwrap.so.0()(64bit) for package: openssh-server-7.4p1-21.el7.x86_64
--> Processing Dependency: libfipscheck.so.1()(64bit) for package: openssh-server-7.4p1-21.el7.x86_64
---> Package sudo.x86_64 0:1.8.23-4.el7_7.2 will be installed
--> Running transaction check
---> Package apr.x86_64 0:1.4.8-5.el7 will be installed
---> Package apr-util.x86_64 0:1.5.2-6.el7 will be installed
---> Package centos-logos.noarch 0:70.0.6-3.el7.centos will be installed
---> Package fipscheck-lib.x86_64 0:1.4.1-6.el7 will be installed
--> Processing Dependency: /usr/bin/fipscheck for package: fipscheck-lib-1.4.1-6.el7.x86_64
---> Package httpd-tools.x86_64 0:2.4.6-90.el7.centos will be installed
---> Package mailcap.noarch 0:2.1.41-2.el7 will be installed
---> Package openssh.x86_64 0:7.4p1-21.el7 will be installed
---> Package tcp_wrappers-libs.x86_64 0:7.6-77.el7 will be installed
--> Running transaction check
---> Package fipscheck.x86_64 0:1.4.1-6.el7 will be installed
--> Finished Dependency Resolution
​
Dependencies Resolved
​
================================================================================
 Package                Arch        Version                  Repository    Size
================================================================================
Installing:
 httpd                  x86_64      2.4.6-90.el7.centos      base         2.7 M
 openssh-server         x86_64      7.4p1-21.el7             base         459 k
 sudo                   x86_64      1.8.23-4.el7_7.2         updates      842 k
Installing for dependencies:
 apr                    x86_64      1.4.8-5.el7              base         103 k
 apr-util               x86_64      1.5.2-6.el7              base          92 k
 centos-logos           noarch      70.0.6-3.el7.centos      base          21 M
 fipscheck              x86_64      1.4.1-6.el7              base          21 k
 fipscheck-lib          x86_64      1.4.1-6.el7              base          11 k
 httpd-tools            x86_64      2.4.6-90.el7.centos      base          91 k
 mailcap                noarch      2.1.41-2.el7             base          31 k
 openssh                x86_64      7.4p1-21.el7             base         510 k
 tcp_wrappers-libs      x86_64      7.6-77.el7               base          66 k
​
Transaction Summary
================================================================================
Install  3 Packages (+9 Dependent packages)
​
Total download size: 26 M
Installed size: 38 M
Downloading packages:
warning: /var/cache/yum/x86_64/7/base/packages/apr-util-1.5.2-6.el7.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID f4a80eb5: NOKEY
Public key for apr-util-1.5.2-6.el7.x86_64.rpm is not installed
Public key for sudo-1.8.23-4.el7_7.2.x86_64.rpm is not installed
--------------------------------------------------------------------------------
Total                                              2.6 MB/s |  26 MB  00:10     
Retrieving key from file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
Importing GPG key 0xF4A80EB5:
 Userid     : "CentOS-7 Key (CentOS 7 Official Signing Key) <security@centos.org>"
 Fingerprint: 6341 ab27 53d7 8a78 a7c2 7bb1 24c6 a8a7 f4a8 0eb5
 Package    : centos-release-7-7.1908.0.el7.centos.x86_64 (@CentOS)
 From       : /etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : fipscheck-1.4.1-6.el7.x86_64                                1/12 
  Installing : fipscheck-lib-1.4.1-6.el7.x86_64                            2/12 
  Installing : apr-1.4.8-5.el7.x86_64                                      3/12 
  Installing : apr-util-1.5.2-6.el7.x86_64                                 4/12 
  Installing : httpd-tools-2.4.6-90.el7.centos.x86_64                      5/12 
  Installing : openssh-7.4p1-21.el7.x86_64                                 6/12 
  Installing : centos-logos-70.0.6-3.el7.centos.noarch                     7/12 
  Installing : mailcap-2.1.41-2.el7.noarch                                 8/12 
  Installing : tcp_wrappers-libs-7.6-77.el7.x86_64                         9/12 
  Installing : openssh-server-7.4p1-21.el7.x86_64                         10/12 
  Installing : httpd-2.4.6-90.el7.centos.x86_64                           11/12 
  Installing : sudo-1.8.23-4.el7_7.2.x86_64                               12/12 
  Verifying  : fipscheck-lib-1.4.1-6.el7.x86_64                            1/12 
  Verifying  : sudo-1.8.23-4.el7_7.2.x86_64                                2/12 
  Verifying  : tcp_wrappers-libs-7.6-77.el7.x86_64                         3/12 
  Verifying  : mailcap-2.1.41-2.el7.noarch                                 4/12 
  Verifying  : httpd-tools-2.4.6-90.el7.centos.x86_64                      5/12 
  Verifying  : apr-util-1.5.2-6.el7.x86_64                                 6/12 
  Verifying  : httpd-2.4.6-90.el7.centos.x86_64                            7/12 
  Verifying  : apr-1.4.8-5.el7.x86_64                                      8/12 
  Verifying  : fipscheck-1.4.1-6.el7.x86_64                                9/12 
  Verifying  : openssh-7.4p1-21.el7.x86_64                                10/12 
  Verifying  : openssh-server-7.4p1-21.el7.x86_64                         11/12 
  Verifying  : centos-logos-70.0.6-3.el7.centos.noarch                    12/12 
​
Installed:
  httpd.x86_64 0:2.4.6-90.el7.centos    openssh-server.x86_64 0:7.4p1-21.el7   
  sudo.x86_64 0:1.8.23-4.el7_7.2       
​
Dependency Installed:
  apr.x86_64 0:1.4.8-5.el7                                                      
  apr-util.x86_64 0:1.5.2-6.el7                                                 
  centos-logos.noarch 0:70.0.6-3.el7.centos                                     
  fipscheck.x86_64 0:1.4.1-6.el7                                                
  fipscheck-lib.x86_64 0:1.4.1-6.el7                                            
  httpd-tools.x86_64 0:2.4.6-90.el7.centos                                      
  mailcap.noarch 0:2.1.41-2.el7                                                 
  openssh.x86_64 0:7.4p1-21.el7                                                 
  tcp_wrappers-libs.x86_64 0:7.6-77.el7                                         
​
Complete!
 ---> 3fa0eab6842b
Removing intermediate container 4a253d3c3bc4
Step 3/11 : RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config
 ---> Running in 8bebda159d92
​
 ---> bbb9a11caa70
Removing intermediate container 8bebda159d92
Step 4/11 : RUN yum  install -y openssh-clients
 ---> Running in c9f81f6bd770
​
Loaded plugins: fastestmirror, ovl
Loading mirror speeds from cached hostfile
 * base: mirrors.aliyun.com
 * extras: mirrors.aliyun.com
 * updates: mirrors.cn99.com
Resolving Dependencies
--> Running transaction check
---> Package openssh-clients.x86_64 0:7.4p1-21.el7 will be installed
--> Processing Dependency: libedit.so.0()(64bit) for package: openssh-clients-7.4p1-21.el7.x86_64
--> Running transaction check
---> Package libedit.x86_64 0:3.0-12.20121213cvs.el7 will be installed
--> Finished Dependency Resolution
​
Dependencies Resolved
​
================================================================================
 Package              Arch        Version                       Repository
                                                                           Size
================================================================================
Installing:
 openssh-clients      x86_64      7.4p1-21.el7                  base      655 k
Installing for dependencies:
 libedit              x86_64      3.0-12.20121213cvs.el7        base       92 k
​
Transaction Summary
========================================================================
最低0.47元/天 解锁文章
普拉托夫
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop集群搭建及docker安装
m0_46556436的博客
05-28 428
所需的压缩包： hadoop2.7.7压缩包 2.jdk1.8压缩包 3. VMware虚拟机 4.jdk-8u171-linux-x645.Centos 7 6. Xftp-7和Xshell 以上所需请到官网下载！！！ 前言 这是我第一次搭建hadoop，也参考了很多的博主的文章才搭建完成，以下是我的安装步骤。 一：首先将VMware以及所需的XShell，Xftp安装完成 二：在VMware虚拟机中安装CentOS 7 下载需要的镜像文件CentOS-7-x86_...
docker配置hadoop
09-28
001
docker搭建hadoop集群（为分布式、完全分布式）
weixin_40548182的博客
08-27 8555
第1章 写在前面必读 1.1 Hadoop生态简单说明 说明：hadoop只是一个存储数据的平台，mapreduce是一个计算框架，需要编程人员去编写处理数据的程序。然后hadoop是一个生态，就是说在其上还运行着hbase数据库，sqoop，shark等等工具，这样才能将hadoop存储的数据加以利用。Hbase是一种时序数据库，可用来往hadoop写数据，并通过hadoop读取数据，搭建这些的时候还要用到zookeeper软件去管理消息。总之hadoop生态涉及的东西太多，学习起来复杂，但是并不难，就是
Docker部署常见应用之大数据基础框架Hadoop
最新发布
weixin_44585288的博客
06-09 1307
文章介绍了如何使用Docker Compose 部署Hadoop 集群。 Hadoop是一个开源框架，由Apache软件基金会开发，用于在普通硬件构建的集群中存储和处理大量数据。它最初由Doug Cutting和Mike Cafarella创建，并受Google的MapReduce和Google File System (GFS) 论文的启发。Hadoop已成为大数据处理的事实上的标准，并被许多企业和组织广泛采用。
使用docker搭建Hadoop
tian1345的博客
11-05 6707
Hadoop简介 1、Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（Hadoop Distributed File System）来执行MapReduce程序的MapReduce引擎。 （1）Pig是一个基于Hadoop的大规模数据分析平台，Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口； （2）Hive是基于Hadoop的一个工具，提供完整的
[零基础]用docker搭建Hadoop集群
热门推荐
weixin_56114243的博客
11-21 1万+
[零基础]用docker搭建Hadoop集群，每一步都有详细的解释！
基于 Docker 搭建 Hadoop 分布式及 Docker 基本操作使用
weixin_62819687的博客
03-08 2992
Docker的基础操作
docker一键安装hadoop集群
10-14
【Dockerfile详解】 Dockerfile 是一个文本文件，包含了构建 Docker 映像的指令序列。...通过 Docker 安装 Hadoop 集群，可以在不改变主机系统的情况下快速部署和测试，方便开发者和运维人员进行开发、测试和演示。
mac上基于docker搭建hadoop集群
01-20
按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网 docker network create –subnet=172.18.0.0/16 netgroup 对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和...
使用docker部署hadoop集群的详细教程
01-09
最近要在公司里搭建一个hadoop测试集群，于是采用docker来快速部署hadoop集群。 0. 写在前面 网上也已经有很多教程了，但是其中都有不少坑，在此记录一下自己安装的过程。 目标：使用docker搭建一个一主两从三台机器...
在docker上部署hadoop集群
10-29
教程：在linux虚拟机下（centos），通过docker容器，部署hadoop集群。一个master节点和三个slave节点。
超详细的基于docker搭建hadoop集群
qq_48961214的博客
04-29 1万+
基于Docker搭建Hadoop集群
Hadoop (七) --------- 使用 Docker 搭建 Hadoop 运行环境
在森林里麋了鹿
07-14 3469
使用 docker 搭建 hadoop 集群
使用docker搭建hadoop集群
IT小辉同学
06-28 1188
每一天，都充满惊喜，总会遇见不同的人，看见不同的风景，听见不同的故事，这样就很好！！！
Docker环境部署Hadoop并使用docker构建spark运行案列（全网最详细教程）
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
11-04 7719
本文主要是Docker部署hadoop 和使用docker构建spark运行环境，里面有详细的安装配置教程和操作说明，环境没问题的话，按照操作基本都能部署完成和运行，后面也有一些案列可以帮助更好的操作和理解hadoop和spark运行原理。
Docker搭建Hadoop集群教程。
高性价比服务器就选：蓝易云
07-12 543
这只是一个简单的示例教程，用于在Docker中搭建Hadoop集群。实际上，搭建和配置一个完整的Hadoop集群涉及到更多的步骤和详细的配置。你可以通过进一步研究Hadoop文档和参考资料来了解更多关于Hadoop集群的配置和管理的内容。这将启动一个包含一个NameNode、两个DataNode、一个ResourceManager和两个NodeManager的Hadoop集群。搭建Hadoop集群是一个相对复杂的过程，涉及到多个步骤和配置。创建Hadoop集群配置：在新建的目录下，创建一个名为。
使用docker安装分布式hadoop（阿里hadoop镜像）
m0_67390969的博客
08-27 4688
前面使用了docker自带的镜像安装，那么这篇使用阿里镜像搭建hadoop集群，也参考了网上部分播客，但是多多少少有问题，我这篇播客是全部经过实践测试成功跑起来的。
《Hadoop系列》Docker安装Hadoop
https://blog.datasource.space
08-09 6278
1.安装docker 2.docker安装Hadoop
docker 安装hadoop集群
09-28
要在Docker中安装Hadoop集群，首先需要创建一个Docker网络，并运行多个Hadoop容器。通过使用Docker命令"docker run"来创建容器，并指定网络、名称和要运行的映像。在每个Hadoop服务器中，还需要配置IP地址映射以实现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值