配置及运行Hadoop之HDFS简易版

下载Hadoop

wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.2.tar.gz

解压此包

tar -zxvf hadoop-2.7.2.tar.gz

修改配置

需要修改的配置文件均在$HADOOP_HOME/etc/hadoop目录下
1.hadoop-env.sh
将JAVA_HOME设置成你的JDK的路径
export JAVA_HOME=/usr/java/default
2.core-site.xml
增加

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://127.0.0.1:9000</value>
    </property>
</configuration>

3.mapred-site.xml.template
增加

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

4.hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

启动HDFS

1初始化文件系统
bin/hdfs namenode -format
2启动HDFS
sbin/start-dfs.sh

简单命令

fs

1.查看目录下文件
bin/hadoop fs -ls /
2.创建目录
bin/hadoop fs -mkdir -p /home/silence
3.上传文件
bin/hadoop fs -put /data/video.sql /home/silence
4.删除一个文件
bin/hadoop fs -rm /home/silence/video.sql
5.删除一个目录
bin/hadoop fs -rmr /home/silence
6.输出一个目录的总大小
bin/hadoop fs -dus /home

dfsadmin

1.打印当前集群状况
bin/hadoop dfsadmin -report
2.安全模式
bin/hadoop dfsadmin -safemode
3.刷新配置信息
bin/hadoop dfsadmin -refresh*（*代表一系列命令）
4.设置文件或者目录总大小不能超过某个值
bin/hadoop dfsadmin -setQuota
5.设置带宽
bin/hadoop dfsadmin -setBalancerBandwidth
6.设置空间总大小（单位：字节）
bin/hadoop dfsadmin -setSpaceQuota 1500 /home/silence
7.取消空间总大小设置
bin/hadoop dfsadmin -clrSpaceQuota /home/silence

fsck

1.输出文件夹信息
bin/hadoop fsck /home/silence
2.输出副本数、块情况等信息
bin/hadoop fsck -blocks -locations