hadoop
一、搭建Hadoop环境
我使用docker搭建hadoop环境(mac电脑),具体过程如下:
(1)使用homebrew安装docker
使用命令:brew cask install docker
(2)在docker上安装hadoop
搜索hadoop:命令docker search hadoop
安装stars最多的那个:命令docker pull sequenceiq/hadoop-docker
(3)进入hadoop
命令cd $HADOOP_PREFIX
二、运行第一个Hadoop程序
(1)进入相应目录后启动HDFS的进程服务
进入sbin目录,运行start-dfs.sh
(2)
创建一个txt文件,并写入内容
命令:touch my_wordcount.txt
命令:vi my_wordcount.txt
上传到云端并查看
命令:bin/hdfs dfs -mkdir -p /data/input
命令:bin/hdfs dfs -put my_wordcount.txt /data/input
命令:bin/hdfs dfs -ls /data/input
(3)运行样例程序
命令:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar wordcount my_wordcount.txt my_wordcountout
(4)查看结果