【Hadoop】——HDFS：概述、基本命令

一、概述

1.定义背景

<1>Hadoop Disstributed File System
<2>是一个文件系统，通过一个目录树来定位文件，是分布式存储。
<3>适合一次写入，多次读取的场景

2. 优缺点

优点

<1>高容错性
数据自动保存多个副本，通过增加副本的形式，提高容错性
<2>适合处理大数据场景
GB、TB、PB
能够处理百万规模以上的文件数量
<3>能够构建在廉价机器上

缺点

<1>不适合低延时数据访问
<2>无法高效的对大量小文件进行存储
会占用NameNode的大量内存在存储文件目录和块信息，NameNode的内存总是有限的
小文件的寻址时间会超过读取时间，违反了HDFS的设计目标
<3>不支持并发写入，文件随机修改
一个文件只能有一个写，不允许多个线程同时写
仅支持数据append ，不持支文件随机修改

3. 组成

<1>架构图

<2>NameNode

1. Master，主管，管理者
2. 管理HDFS的名称空间
3. 配置副本celve
4. 管理数据库（Block）映射信息
5. 处理客户端的读写请求

<3>DataNode

1. Slave，执行实际的操作
2. 存储实际的数据库
3. 执行数据块的读写操作

<4>Client

1. 文件切分，文件上传HDFS的时候，Client将文件切分成一个一个文件块
2. 与NameNode交互，获取文件的位置信息
3. 与NameNode交互，获取文件的位置信息
4. 与DataNode交互，读取或者写入数据
5. Client提供一些命令管理HDFS，比如NameNode格式化
6. Client可以通过一些命令访问HDFS，比如对HDFS增删改查操作

<5>SecondaryNameNode

1. 并非NameNode的热备，当NameNode宕机时，不能马上替换NameNode。
2. 辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode
3. 在紧急情况下，可辅助恢复NameNode

4. 文件块大小

<1>默认128M。一般设置为128M或者256M。过dfs-default.xml的dfs.blocksizeh配置。

<2>文件块设置太小，会增加寻址时间，程序一直在找块的开始位置。
<3>文件块设置太大，从磁盘传输数据的时间会明显大于定位这个块开始位置的时间，会导致程序在处理这块数据时非常慢。
<4>HDFS块大小设置主要取决于磁盘传输速率。

二、HDFS的shell相关操作

1. 基本语法

hadoop fs 具体命令
hdfs dfs 具体命令

2. 命令大全

上传相关

<1>本地剪切粘贴到HDFS

hadoop dfs -moveFromLocal ./shuguo.txt /sangguo

<2>本地复制粘贴到HDFS

hadoop dfs -copyFromLocal ./weiguo.txt /sangguo

等同于- copyFromLocal

hadoop dfs -put ./wuguo.txt /sangguo

<3>追加一个文件到已经存在的文件末尾

hadoop dfs -appendToFile liubei.txt /sanguo/shuguo.txt

下载相关

<1>从HDFS拷贝到本地，

hadoop dfs -copyToLocal  /sanguo/shuguo.txt ./

<2>等同于 – copyToLocal

hadoop dfs -get  /sanguo/shuguo.txt ./

<3>下载时可以修改名字

hadoop dfs -get  /sanguo/shuguo.txt ./shuguo2.txt

HDFS直接操作

<1>ls

hadoop dfs -ls /sanguo

<2>cat

hadoop dfs -cat /sanguo/shuguo.txt

<3>新建文件夹

hadoop dfs -mkdir /jinguo

<4>复制 -cp

hadoop dfs -cp /sanguo/shuguo.txt  /jinguo

<5>移动文件 -mv

hadoop dfs -mv /sanguo/weiguo.txt  /jinguo

<6>显示一个文件末尾1kb的数据 -tail

hadoop dfs -tail /jinguo/shuguo.txt

<7>删除文件或者文件夹 -rm

hadoop dfs -rm /sanguo/shuguo.txt

<8>递归删除目录以及目录里边的文件 -rm -f

hadoop dfs -rm -r /sanguo

<9>统计文件夹的大小信息 -du
-s 总大小

hadoop dfs -du -s -h /jinguo

不带-s ，各个文件具体信息

hadoop dfs -du-h /jinguo

<10>设置HDFS中文件副本数量 -setrep

hadoop dfs -setrep 10 /jinguo/shuguo.txt

这里设置的副本只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量，因为目前只有三台机器，对多有3个副本，只有节点书增加到10台时，副本数才会达到10.