hadoop使用docker安装和使用(单节点适合开发环境)

本人亲测可用大家放心安装,本文适合开发环境搭建,不喜勿喷
安装环境
centos7.2
docker 18.06.0-ce(这个安装参考我的另外一篇博客https://blog.csdn.net/qq_16563637/article/details/81699251)
首先关闭防火墙
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
下载hadoop镜像

docker pull sequenceiq/hadoop-docker:2.6.0

查看镜像

docker images

运行hadoop

docker run -i -t -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042  -p 49707:49707  -p 50010:50010  -p 50075:50075  -p 50090:50090 sequenceiq/hadoop-docker:2.6.0 /etc/bootstrap.sh -bash

测试是否安装成功
先进入hadoop容器

docker exec -it ${CONTAINER ID} /bin/bash

执行完成docker run 也就是上一步,该步骤可以省略

cd /usr/local/hadoop-2.6.0
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfs[a-z.]+'

如果执行mapreduce程序说明安装成功
可以打开浏览器查看
宿主机IP:50070
docker安装完毕
为了正常使用还需安装以下东西

vi /etc/profile

在最底部加入下面内容

export HADOOP_HOME="/usr/local/hadoop-2.6.0"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存:wq
使得配置生效

source /etc/profile

查看命令行是否能用

hadoop version

docker命令行安装完毕
测试jar文件在hadoop中启动
上传一个jar到宿主机
我用hadoop-mapreduce-examples-2.6.0.jar(这个可以自己在网上下一个)
拷贝jar文件到容器
docker cp 要拷贝的文件路径 容器名:要拷贝到容器里面对应的路径

docker cp /root/hadoop-mapreduce-examples-2.6.0.jar b7d7f88574fb:/usr/local/hadoop-2.6.0

查看是否成功

docker exec -it b7d7f88574fb /bin/bash
cd /usr/local/hadoop-2.6.0
ls

上传一个文件到hdfs

vi a.txt

输入下面内容

canglaoshi is mylove
xiaoze is mylove
wutenglan is mylove

保存
hadoop创建文件夹

hadoop fs -mkdir -p /wordcount/input
hadoop fs -put a.txt /wordcount/input
hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /wordcount/input /wordcount/output

查看输出内容

hadoop fs -cat /wordcount/output/part-r-00000
  • 3
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用Docker安装Hadoop集群的步骤如下: 1. 首先,使用以下命令在Docker中创建三个独立的Hadoop容器: ``` docker run -itd --network hadoop --name hadoop1 hadoop docker run -itd --network hadoop --name hadoop2 hadoop docker run -itd --network hadoop --name hadoop3 hadoop ``` 这些命令会在Docker网络中创建三个名为hadoop1、hadoop2、hadoop3的容器,并使用预先构建的Hadoop镜像。 2. 接下来,我们需要进入每个Hadoop容器并进行配置。使用以下命令进入每个容器: ``` docker exec -it hadoop1 bash docker exec -it hadoop2 bash docker exec -it hadoop3 bash ``` 这些命令将进入到hadoop1、hadoop2、hadoop3容器的命令行界面。 3. 在每个Hadoop容器中,您可以按照正常的Hadoop安装和配置步骤进行操作。具体来说,您可以编辑相应的配置文件,如core-site.xml、hdfs-site.xml和mapred-site.xml等,以配置IP地址映射和其他必要的Hadoop参数。配置完毕后,保存并退出容器。 通过以上步骤,您可以使用Docker安装Hadoop集群。请注意,这只是一个基本的示例,您可能需要根据您的实际需求进行适当的修改和配置。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [[零基础]用docker搭建Hadoop集群](https://blog.csdn.net/weixin_56114243/article/details/127937607)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值