HDFS入门

1 http://geosmart.github.io/2016/03/03/HDFS%E4%BD%BF%E7%94%A8%E7%AC%94%E8%AE%B0/

Hadoop框架中最核心的设计就是：MapReduce和HDFS。MapReduce的思想是分而治之（任务的分解与结果的汇总）。HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。

数据块(block)

HDFS默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。

元数据节点(Namenode)

元数据节点用来管理文件系统的命名空间。其将所有的文件和文件夹的元数据保存在一个文件系统树中。这些信息也会在硬盘上保存成以下文件：命名空间镜像(namespace image)及修改日志(edit log)其还保存了一个文件包括哪些数据块，分布在哪些数据节点上。然而这些信息并不存储在硬盘上，而是在系统启动的时候从数据节点收集而成的。

数据节点(datanode)

数据节点是文件系统中真正存储数据的地方。客户端(client)或者元数据信息(namenode)可以向数据节点请求写入或者读出数据块。其周期性的向元数据节点回报其存储的数据块信息。

从元数据节点(secondary namenode)

从元数据节点并不是元数据节点出现问题时候的备用节点，它和元数据节点负责不同的事情。其主要功能就是周期性将元数据节点的命名空间镜像文件和修改日志合并，以防日志文件过大。合并过后的命名空间镜像文件也在从元数据节点保存了一份，以防元数据节点失败的时候，可以恢复。

上传本地文件到hdfs

1

2

3

hdfs dfs -rm /user/uadb/etl/geocoding

hdfs dfs -rm /user/uadb/etl/geocoding

hdfs dfs -put /user/uadb/etl/geocoding /user/uadb/etl/

删除hdfs文件

• rm命令：-rm [-f] [-r|-R] [-skipTrash] <src> ...]
  删除hdfs文件夹内所有文件：hdfs dfs -rm -R /user/hive/warehouse/geocodingdb.db/addressnodesgroupbyskeleton/*

删除hdfs文件夹

• rmdir命令：[-rmdir [--ignore-fail-on-non-empty] <dir> ...]，不能删除非空文件夹
  hdfs dfs -rmdir /user/hive/warehouse/geocodingdb.db/addressnodesgroupbyskeleton