使用docker搭建hadoop环境

hadoop

---

一、搭建Hadoop环境

我使用docker搭建hadoop环境（mac电脑），具体过程如下：
（1）使用homebrew安装docker
使用命令：brew cask install docker

（2）在docker上安装hadoop
搜索hadoop：命令docker search hadoop
安装stars最多的那个：命令docker pull sequenceiq/hadoop-docker

（3）进入hadoop
命令cd $HADOOP_PREFIX

二、运行第一个Hadoop程序

（1）进入相应目录后启动HDFS的进程服务
进入sbin目录，运行start-dfs.sh

（2）
创建一个txt文件，并写入内容
命令：touch my_wordcount.txt
命令：vi my_wordcount.txt

上传到云端并查看
命令：bin/hdfs dfs -mkdir -p /data/input
命令：bin/hdfs dfs -put my_wordcount.txt /data/input
命令：bin/hdfs dfs -ls /data/input

（3）运行样例程序
命令：
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar wordcount my_wordcount.txt my_wordcountout

（4）查看结果