Hadoop

一、Hadoop 简介

1）Hadoop，包括 HDFS，用于分布式存储和分布式处理（计算），具有容错性、可扩展性，并且扩展非常简；

2）Hadoop是用Java编写的，在所有主要平台上都受支持；

3）Hadoop支持类似shell的命令，直接与HDFS交互；

4）NameNode 和 DataNodes 内置了 Web 服务器，可以轻松检查群集的当前状态；

5）官网地址：Apache Hadoop。

二、Hadoop 版本

1）Apache Hadoop 官方版本；

2）Cloudera Hadoop（CDH）商业版本，收费的；

3）HortonWorks（HDP）发行版（已经被 CDH 收购）；

三、HDFS 的运维 Shell 命令

# chmod：改变文件/目录的权限，使用 -R 参数实现递归改变权限。
格式：hdfs dfs -chmod [-R] <MODE,[MODE]... | OCTALMODE> URI [URI ...}
注意：命令的使用者必须是文件的所有者或者超级用户。
# du：显示目录中所有文件的大小，当只指定一个文件时，显示此文件的大小。
格式：hdfs dfs -du [-hs] URL [URL ...]
-h 对返回的文件大小数据进行格式化。
-s 返回目录的汇总大小。

回收站

#目录：/user/用户名/.Trash 查询。
hdfs dfs -rm -skipTrash
# 修改 core-site.xml，示例为开启回收站，保留时间一天
<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

安全模式：

#查看安全模式 
hdfs dfsadmin -safemode get 
#离开安全模式
hdfs dfsadmin -safemode leave