官方文档,不同版本修改url地址中的数字即可
http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html
jdk下载
https://www.oracle.com/technetwork/java/javase/downloads/index.html
hadoop下载
https://hadoop.apache.org/releases.html
配置JDK,Hadoop环境
vim /etc/profile
##JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_181 export PATH=$PATH:$JAVA_HOME/bin ##HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-2.7.2 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
重新编译文件
source /etc/profile
验证环境配置是否成功
java -version
hadoop
修改hadoop-env配置文件
vim /etc/hadoop/hadoop-env.sh
官方grep案例
$ mkdir input $ cp etc/hadoop/*.xml input $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+' $ cat output/*
运行效果图:
官方wordcount案例
hadoop目录下创建wcinput文件夹,wc.input文件
wc.input文件内容如下
运行wordcount程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput/ wcoutput/
查看运行结果
cat wcoutput/part*
注:案例的输出文件夹不能存在,输出文件由程序自动创建。