Hadoop本地模式搭建

官方文档，不同版本修改url地址中的数字即可

http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html

jdk下载

https://www.oracle.com/technetwork/java/javase/downloads/index.html

hadoop下载

https://hadoop.apache.org/releases.html

 

配置JDK,Hadoop环境

vim /etc/profile

 

 

##JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_181

export PATH=$PATH:$JAVA_HOME/bin

 

##HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

 

重新编译文件

source /etc/profile

 

验证环境配置是否成功

java -version

 

 

hadoop

 

 

修改hadoop-env配置文件

vim /etc/hadoop/hadoop-env.sh

 

 

官方grep案例

 

 

  $ mkdir input

  $ cp etc/hadoop/*.xml input

  $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

  $ cat output/*

 

运行效果图：

 

 

 

官方wordcount案例

hadoop目录下创建wcinput文件夹，wc.input文件

wc.input文件内容如下

 

 

运行wordcount程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput/ wcoutput/

 

 

查看运行结果

cat wcoutput/part*

 

 

 

注：案例的输出文件夹不能存在，输出文件由程序自动创建。

转载于:https://www.cnblogs.com/gtx690/p/11357435.html