Hadoop学习笔记之win下安装及使用

一、下载hadoop
下载地址 ： http://hadoop.apache.org

（1）在Getting Started下找到：Download

（2）找到To verify Hadoop releases using GPG下的：mirroor site

（3)进入连接下载Hadoop：


（4）下载winutils.exe,需要对应的版本.地址https://github.com/steveloughran/winutils,下载之后直接解压,将bin目录里的内容直接覆盖到hadoop的bin

二、配置hadoop
(1) 配置环境变量，在path中添加路径${HADOOP_HOME}\bin,例如:”D:\hadoop\bin”;
(2) 配置hadoop文件 ,路径：D:\hadoop\etc\hadoop
core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

（3）启动hadoop
windows命令行窗口，进入.\hadoop-2.6.4\bin目录，执行下面2条命令，先格式化namenode再启动hadoop.

1. 进入到bin目录，运行hdfs namenode -format
2. 进入sbin目录：start-all.cmd
3. 进入：http://localhost:8088
   

安装成功
(4)测试
进入cmd，通hadoop fs -mkdir 命令建立文件夹，并查看

可以看到 /user/data 已经存在。
四、hadoop常用命令
1)ls 显示目录下的所有文件或者文件夹
hdfs dfs –ls [文件目录]

2)cat 查看文件内容
hdfs dfs –cat [file_path]
eg:hdfs dfs -cat /user/wangkai.pt/data.txt

3)mkdir 创建目录
使用方法：hadoop fs -mkdir [uri形式目录]
示例: hadoop fs –mkdir /test
创建多级目录 加上 –p
示例: hadoop fs –mkdir -p /a/b/c

4)rm 删除目录或者文件
使用方法:hadoop fs -rm [文件路径] 删除文件夹加上 -r
示例: hadoop fs -rm /test1.txt
删除文件夹加上 -r
示例:hadoop fs -rm -r /test

5)put 复制文件
将文件复制到hdfs系统中，也可以是从标准输入中读取文件，此时的dst是一个文件
使用方法: hadoop fs -put
示例：
Hadoop fs -put /usr/wisedu /temp/test1.txt /

6) cp 复制系统内文件
hadoop fs –cp
拷贝文件到目标位置，当src为多个文件时，dst必须是个目录。

7) copyFromLocal 复制本地文件到hdfs
使用方法：hadoop fs-copyFromLocal URI

除了限定源路径是一个本地文件外，和put命令相似

8) get 复制文件到本地系统
使用方法：hadoop fs -get

示例：hadoop fs -get/word /usr/wisedu/temp/word.txt

9)copyToLocal 复制 文件到本地系统
使用方法：hadoop fs-copyToLocal [-ignorecrc] [-crc] URI

除了限定目标路径是一个本地文件外，和get命令类似。
示例：hadoop fs - copyToLocal/word /usr/wisedu/temp/word.txt

10) mv
将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。
使用方法：hadoop fs -mv URI [URI …]

示例：hadoop fs -mv /in/test2.txt /test2.txt

11) du 显示文件大小
显示目录中所有文件的大小。

使用方法：hadoop fs -du URI [URI …]

示例: hadoop fs -du /
显示当前目录或者文件夹的大小可加选项 -s
示例: hadoop fs -du -s /

12) touchz 创建空文件
使用方法：hadoop fs -touchz URI [URI …]
创建一个0字节的空文件
示例:hadoop fs -touchz /empty.txt

13)chmod 改变文件权限
使用方法：hadoop fs -chmod[-R]