centos7下使用docker快速搭建hadoop

17 篇文章 2 订阅
4 篇文章 0 订阅

一、前言

按传统方法,能否在服务器上,能否成功搭建 hadoop 集群,取决于配置是否配置成功
在习惯优于配置的时代,已然过时
使用 docker 技术,零配置,10 秒内轻松搭建 hadoop 集群
本文图文并茂,轻松阅读无障碍

二、环境搭建

主要使用的镜像:kaibb/hadoop
阿里云镜像的,云服务器若也是阿里云的,拉去的速度将十分惊人

2.1.拉取镜像

docker pull registry.aliyuncs.com/kaibb/hadoop
 
 
  • 1

这里写图片描述
可以使用 docker images 查看镜像是否存在

2.2.启动容器

docker run -itd --name hadoop -h hadoop -P registry.aliyuncs.com/kaibb/hadoop
 
 
  • 1

这里写图片描述
先使用 docker ps 查看端口映射,后面要在网页访问 DFS、YARN 要分别用到 50070、8088 端口的映射!!
这里写图片描述
使用 docker ps -a 查看各个容器运行的状态

2.3.进入容器

docker exec -it hadoop bash
 
 
  • 1

这里写图片描述

2.4.格式化 namenode

在任何目录下运行 hadoop 命令都可以

hadoop namenode -format
 
 
  • 1

这里写图片描述
输出了一堆很长的日志。。。

2.5.运行 DFS

start-dfs.sh
 
 
  • 1

中间输入两个 yes,不要输入错误 ~
这里写图片描述
之后可以使用 jps 查看节点

访问 http://120.79.197.130:32802
(① 改120.79.197.130为你的服务器ip、② 改32802为你的 50070映射端口、③ 云服务器注意开启安全组)
进入如下页面,说明一切顺利
这里写图片描述

2.6.运行 YARN

start-yarn.sh
 
 
  • 1

这里写图片描述
之后可以再次使用 jps 查看新节点

访问 http://120.79.197.130:32807 进入如下页面,说明一切顺利
(① 改120.79.197.130为你的服务器ip、② 改32807为你的 8088 映射端口、③ 云服务器注意开启安全组)
这里写图片描述

三、其他操作

3.1.更换目录

cd /opt/tools/hadoop
 
 
  • 1

这里写图片描述

3.2.创建文件夹

hdfs dfs -mkdir -p /user/kaibb/input
 
 
  • 1

这里写图片描述
可以使用 hdfs dfs -ls /user/kaibb 查看刚刚创建的目录

3.3.复制文件至dfs文件目录中

hdfs dfs -put /opt/tools/hadoop/etc/hadoop/* /user/kaibb/input
 
 
  • 1

这里写图片描述
可以使用 hdfs dfs -ls /user/kaibb/input 查看 dfs文件目录下的内容
也可以在网页直接查看,点击红色框中的内容:
这里写图片描述
如下:
这里写图片描述

3.4.运行示例程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep /user/kaibb/input output 'dfs[a-z.]+'
 
 
  • 1

这里写图片描述
在 YARN 中可以看到运行成功的两个应用:
这里写图片描述

3.5.查看结果、节点

hdfs dfs -cat output/*
 
 
  • 1
jps
 
 
  • 1

这里写图片描述

四、MapReduce

测试程序:
https://github.com/larger5/hadoop_wordcount.git

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值