基于Docker的Hadoop集群的搭建和使用

这篇博客详细介绍了如何在Linux环境下使用Docker搭建Hadoop集群。首先讲解了Docker的安装,接着通过拉取Ubuntu镜像并在其中初始化系统,安装了vim、sshd、jdk等必备软件。然后保存镜像,下载并安装Hadoop,同时配置了Hadoop集群的相关文件。最后,启动集群并完成节点间的连接验证。
摘要由CSDN通过智能技术生成

一、安装Docker

安装Docker——点击这里

二、在docker中安装ubuntu系统

首先从docker hub上面拉取一个ubuntu镜像

$ docker pull ubuntu:latest

验证是否安装成功

$ docker images

安装成功如下图:

在启动镜像时,需要一个文件夹向镜像内部进行文件传输,所以在家目录下面新建一个文件用于文件传输

$ mkdir docker-ubuntu

然后在docker上运行ubuntu

$ docker run -it -v ~/docker-ubuntu:/root/docker-ubuntu --name ubuntu ubuntu

三、ubuntu系统初始化

由于刚刚安装好之后的系统是纯净系统,很多软件都没有装,所以需要刷新一下软件源以及安装一些必要的软件。

(一)刷新源

由于在docker 上面运行的Ubuntu默认登录的为root用户,所以运行命令不需要sudo

root@11e9379d2a29:/# apt update

(二)安装一些必要的软件

1、安装vim

终端中用到的文本编辑器有vim、emacs、nano等,上课老师都让用vim,这里也安装vim

root@11e9379d2a29:/# apt install vim

2、安装sshd

由于分布式需要用ssh连接到docker内的镜像

root@11e9379d2a29:/# apt install ssh

然后在~/.bashrc内加入/etc/init.d/ssh start,保证每次启动镜像时都会自动启动ssh服务,也可以使用service或者systemctl设置ssh服务自动启动

然后就是配置ssh免密登录

root@11e9379d2a29:~# ssh-keygen -t rsa #一直按回车键即可
root@11e9379d2a29:~/.ss
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值