docker安装hadoop

拉取docker-compose文件

git clone https://github.com/big-data-europe/docker-hadoop.git

构建镜像并启动容器

cd docker-hadoop
docker-compose up -d

浏览器访问：
http://localhost:9870

测试

进入到namenode容器：
docker exec -it namenode bash

在HDFS里面建一个文件夹data
hadoop fs -mkdir -p data

创建目录及写入文件
mkdir data; echo “Hello Docker World” > data/f1.txt; echo “Hello sundayfine” > data/f2.txt

将文件写入到HDFS
hdfs dfs -put ./data/* data

查看HDFS
hdfs dfs -ls -R data

删除文件
hdfs dfs -rm -r data

退出终端
exit

运行WordCount程序

下载WordCount示例代码：
https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapreduce-examples/3.2.1/hadoop-mapreduce-examples-3.2.1-sources.jar

将本机jar文件复制到容器namenode里
docker cp D:/examples/hadoop-mapreduce-examples-3.2.1-sources.jar namenode:hadoop-mapreduce-examples-3.2.1-sources.jar

写入hdfs文件
hdfs dfs -put ./data/* input

运行WordCount
hadoop jar hadoop-mapreduce-examples-3.2.1-sources.jar org.apache.hadoop.examples.WordCount input output

查看运行结果
hdfs dfs -cat output/part-r-00000

删除output目录
hdfs dfs -rm -r output