一、下载hadoop
下载地址 : http://hadoop.apache.org
(1)在Getting Started下找到:Download
(2)找到To verify Hadoop releases using GPG下的:mirroor site
(3)进入连接下载Hadoop:
(4)下载winutils.exe,需要对应的版本.地址https://github.com/steveloughran/winutils,下载之后直接解压,将bin目录里的内容直接覆盖到hadoop的bin
二、配置hadoop
(1) 配置环境变量,在path中添加路径${HADOOP_HOME}\bin,例如:”D:\hadoop\bin”;
(2) 配置hadoop文件 ,路径:D:\hadoop\etc\hadoop
core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/data/dfs/datanode</value>
</property>
</configuration>
mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
(3)启动hadoop
windows命令行窗口,进入.\hadoop-2.6.4\bin目录,执行下面2条命令,先格式化namenode再启动hadoop.
- 进入到bin目录,运行hdfs namenode -format
- 进入sbin目录:start-all.cmd
- 进入:http://localhost:8088
安装成功
(4)测试
进入cmd,通hadoop fs -mkdir 命令建立文件夹,并查看
可以看到 /user/data 已经存在。
四、hadoop常用命令
1)ls 显示目录下的所有文件或者文件夹
hdfs dfs –ls [文件目录]
2)cat 查看文件内容
hdfs dfs –cat [file_path]
eg:hdfs dfs -cat /user/wangkai.pt/data.txt
3)mkdir 创建目录
使用方法:hadoop fs -mkdir [uri形式目录]
示例: hadoop fs –mkdir /test
创建多级目录 加上 –p
示例: hadoop fs –mkdir -p /a/b/c
4)rm 删除目录或者文件
使用方法:hadoop fs -rm [文件路径] 删除文件夹加上 -r
示例: hadoop fs -rm /test1.txt
删除文件夹加上 -r
示例:hadoop fs -rm -r /test
5)put 复制文件
将文件复制到hdfs系统中,也可以是从标准输入中读取文件,此时的dst是一个文件
使用方法: hadoop fs -put
示例:
Hadoop fs -put /usr/wisedu /temp/test1.txt /
6) cp 复制系统内文件
hadoop fs –cp
拷贝文件到目标位置,当src为多个文件时,dst必须是个目录。
7) copyFromLocal 复制本地文件到hdfs
使用方法:hadoop fs-copyFromLocal URI
除了限定源路径是一个本地文件外,和put命令相似
8) get 复制文件到本地系统
使用方法:hadoop fs -get
示例:hadoop fs -get/word /usr/wisedu/temp/word.txt
9)copyToLocal 复制 文件到本地系统
使用方法:hadoop fs-copyToLocal [-ignorecrc] [-crc] URI
除了限定目标路径是一个本地文件外,和get命令类似。
示例:hadoop fs - copyToLocal/word /usr/wisedu/temp/word.txt
10) mv
将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。
使用方法:hadoop fs -mv URI [URI …]
示例:hadoop fs -mv /in/test2.txt /test2.txt
11) du 显示文件大小
显示目录中所有文件的大小。
使用方法:hadoop fs -du URI [URI …]
示例: hadoop fs -du /
显示当前目录或者文件夹的大小可加选项 -s
示例: hadoop fs -du -s /
12) touchz 创建空文件
使用方法:hadoop fs -touchz URI [URI …]
创建一个0字节的空文件
示例:hadoop fs -touchz /empty.txt
13)chmod 改变文件权限
使用方法:hadoop fs -chmod[-R]