hadoop从零开始--HDFS篇

一、HDFS体系结构与基本概念

珍惜生命，拒绝废话！
一句话概括：HDFS是distributed file system的简写，是众多分布式文件管理系统中的一种，不适合小文件，重要的事情再说一遍，不适合小文件。

二、HDFS的shell操作
这里总结大部分常用命令，不再过多解释，建议有linux基础的情况下学习。
1、基础命令
hdfs dfs -ls / 查看HDFS根目录
hdfs dfs -mkdir /test 在根目录创建一个目录test
hdfs dfs -mkdir /test1 在根目录创建一个目录test1
echo -e ‘hadoop second lesson’ >test.txt
hdfs dfs -put ./test.txt /test 或
hdfs dfs -copyFromLocal ./test.txt /test
hdfs dfs -get /test/test.txt
hdfs dfs -getToLocal /test/test.txt
hdfs dfs -cp /test/test.txt /test1
hdfs dfs -rm /test1/test.txt
hdfs dfs -mv /test/test.txt /test1
hdfs dfs -rmr /test1
hdfs dfs -appendToFile

2、dfsadmin命令

配额 bin/hdfs dfsadmin -setQuota 10 lisi
-clrQuota 清空
bin/hdfs dfsadmin -setSpaceQuota 4k /lisi/
-clrSpaceQuota 清空

查看 bin/hdfs dfs -count -q -h /lisi

进出安全模式 bin/hdfs dfsadmin -safemode enter/leave

hadoop在启动的时候会默认进入安全模式，不过不用担心，30秒后自动退出安全模式。

3、httpFS访问
很多人认为httpFS访问不重要，其实不然，前面的shell命令必须要在hadoop环境下才能执行，而httpFS命令却可以摆脱这种限制，重要性不再多说。

编辑文件：httpfs-env.sh
编辑文件：core-site.xml

hadoop.proxyuser.root.hosts