使用 docker简单搭建 hadoop开发环境,用于学习
1、拉取 hadoop镜像
这里使用 sequenceiq/hadoop-docker:2.7.1
docker pull sequenceiq/hadoop-docker:2.7.1
2、开启容器
docker run --name=my-hadoop -it -p 50070:50070 -p 8088:8088 -p 50075:50075 -p 9000:9000 sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash --privileged=true
开启容器后会直接进入hadoop容器
3、运行示例
进入 /usr/local/hadoop-2.7.1 目录
cd /usr/local/hadoop-2.7.1
运行示例
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output 'dfs[a-z.]+'
运行完成
查看输出结果
bin/hdfs dfs -cat output/*
4、yarn任务监控 web页面
笔者这里宿主机器 ip 是 192.168.0.118
yarn任务监控 web页面地址是:http://192.168.0.118:8088
5、namenode web页面
地址:http://192.168.0.118:50070
6、datanode web页面
地址:http://192.168.0.118:50075
至此完