hadoop安转以及基本命令的使用

一、Hadoop-2.6.x的安装

1、解压Hadoop：tar  -xzvf  hadoop-2.6.x.tar.gz  

四个参数x : 从 tar 包中把文件提取出来

z : 表示 tar 包是被 gzip 压缩过的，所以解压时需要用 gunzip 解压

v : 显示详细信息

f xxx.tar.gz : 指定被处理的文件是 xxx.tar.gz

2、配置Hadoop的环境变量，在/etc/environment下

    或者在/etc/profile

vi /etc/profile

export  HADOOP_HOME=/usr/hadoop2.6.x

export  PATH=$HADOOP_HOME/bin:$PATH

3、使用jps查看进程是否启动

               

4、使用start-dfs.sh启动HDFS守护进程 DataNode、SecondaryNameNode、NameNode

 

5、使用start-yarn.sh来启动NodeManager

二、hadoop基本命令的使用

1、安装好Hadoop系统之后，是无法通过图形化界面的看得见的，因此要使用一下的命令进行基本操作

查看Hadoop系统的根目录：hdfs dfs -ls /

查看Hadoop系统根目录下的子目录  hdfs dfs -ls -R  /      -R指的是递归查看

HDFS系统中创建文件夹input ：hdfs dfs -mkdir /usr/hadoop-2.6.x/input

把文件上传到HDFS系统：hdfs dfs -put   /<源文件的路径>  /usr/hadoop-2.6.x/input/

使用JAR包统计单词个数： hadoop jar   使用的JAR文件.jar   主函数    /usr/hadoop-2.6.x/input/文件                （文件路径）  /usr/hadoop-2.6.x/output(存放结果的位置，输出结果目录必须不存在，否则报错)