Hadoop在Linux下伪分布式的安装 以及wordcount实例的运行

一、安装配置jdk 再此不再赘述 在命令行下 输入 java –version

 

[root@oracle ~]# java -version

如果出现

java version "1.7.0_67"

Java(TM) SE Runtime Environment(build 1.7.0_67-b01)

Java HotSpot(TM) 64-Bit Server VM(build 24.65-b04, mixed mode)

则说明java 运行环境安装成功。

 

二、下载安装 hadoop-0.20.2.tar.gz

 

解压到用户的根目录下 如：/zhou/Hadoop-0.20.0

解压 ：[root@oracle zhou]# tarzxvf hadoop-0.20.2.tar.gz

 

     

 

三、配置Hadoop

 

1、在conf/hadoop-env.sh中配置Java环境以及HADOOP_HOME、PATH

 

  exportJAVA_HOME=/usr/java/jdk1.7.0_67
  export HADOOP_HOME=/zhou/hadoop-0.20.2
  export PATH=$PATH:/zhou/hadoop-0.20.2/bin

 

 

2、配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml

 

四、格式化namenode、datanode

 

bin/hadoopnamenode -format

bin/hadoopdatanode –format

 

五、启动hadoop所有进程

 

[root@oraclehadoop-0.20.2]# bin/start-all.sh

 

 

ps:没有进行SSH无密码验证配置，所有namenode、datanode等的启动都需要输入用户登录linux的密码

 

 

六、查看Hadoop进程启动情况

 

[root@oraclehadoop-0.20.2]# jps

 

   

 

正常情况下应有：DataNode、SecondaryNameNode、TaskTracker、Jps、JobTracker、NameNode

 

 

七、查看集群状态

 

[root@oraclehadoop-0.20.2]# bin/hadoop dfsadmin -report

 

          

 

 

八、在/zhou/hadoop-0.20.2创建目录文件

 

创建test文件夹在test下新建两个文本

 

 

 

九、在hdfs分布式文件系统创建目录input

 

[root@oraclehadoop-0.20.2]# bin/hadoop fs -mkdir input

[root@oraclehadoop-0.20.2]# bin/hadoop fs -ls

查看：bin/hadoopfs -mkdir input

删除目录：bin/hadoopfs -rmr  ***

删除文件：bin/hadoopfs -rm  ***

 

 

 

十、离开Hadoop安全模式

 

[root@oraclehadoop-0.20.2]# bin/hadoop dfsadmin -safemode leave

 

 

 

十一、 将文本文件放入hdfs分布式文件系统中

 

[root@oraclehadoop-0.20.2]# bin/hadoop fs -put /zhou/hadoop-0.20.2/test/* input

 

 

 

十二、 执行WordCount

 

[root@oraclehadoop-0.20.2]# bin/hadoop jar hadoop-0.20.2-examples.jar  wordcount input output

 

 

 

 

十三、 查看执行结果

 

[root@oraclehadoop-0.20.2]# bin/hadoop dfs -cat output/*

 

 

十四、 关闭Hadoop所有进程

 

[root@oraclehadoop-0.20.2]# bin/stop-all.sh