Hadoop ---HDFS概念

HDFS基本概念
HDFS前言
·设计思想:分而治之:将大文件，大批量文件，分布式存放在服务器上，
以便于采取分而治之的方式对海量数据进行运算分析
·在大数据系统中的作用:为各类分布式运算框架(如:mapreduce,spark,hive,tez…)提供数据存储服务
·重点概念：文件切块,副本存放，元数据

HDFS的概念和特性
首先它是一个文件系统，用于存储文件，通过统一的命名空间–目录树来定位文件
其次，它是分布式的，有很多服务器联合起来实现其功能，集群中的服务器有各自的角色

1.HDFS中的文件在物理上是分块存储(block)，块的大小通过配置参数(dfs.blocksize)来规定
默认大小在hadoop2.x版本中是128M，老版本是64M
2.HDFS文件系统会给客户端提供一个统一的抽象目录树.客户端通过路径来访问文件
形如:hdfs://namenode:port/dir-a/dir-b/file.data
3.目录结构及文件分块信息(元数据)的管理由namenode节点承担
–namenode是hdfs集群柱节点,负责维护整个hdfs文件系统的目录树，以及每一个路径(文件)
所对应的block块信息(bloack的id,及所在的datanode服务器)
4.文件的各个blocak的存储管理由datanode节点承担
–dtatanode是HDFS集群的从节点，每一个bloack都可以在多个dtatanode上存储多个副本(副本数量也可以通过参数设置dfs.replication)
5.HDFS是设计成适应一次写入多次读出的场景,切不支持文件的修改

HDFS的工作机制
概述
1.HDFS集群分为两大角色:NameNode,DataNode
2.NameNode负责管理整个文件系统的元数据(blocak日志,镜像文件fsimage)
3.DataNode负责管理用户的文件数据块
4.文件会按照固定大小(blocaksize)，切成若干块后分布式存储在若干平台datanode上
5.每一个文件块可以有多个副本，并存放在不同的datanode上
6.Datanode会定期向NameNode汇报自身所保存的文件block信息,而namenode则会负责保持文件的副本数量
7.HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过namenode申请来进行

---

HDFS写数据流程
概述：客户端要向HDFS写数据,首先要根namenode通信已确定可以写文件并获得接受文件block的datanode，然后，客户端按顺序将文件逐个block传递个datanode,
并接受到block的datanode负责向其他datanode复制block的副本

详细步骤解析
1.根namenode通信请求上传文件,namenode检查目标文件是否已存在,父目录是否在
2.namenode返回是否可以上传
3.cilent请求第一个block该传输到那些datanode服务器上
4.namenode返回3个DataNode服务器ABC
5.cilent请求3台dn中的一台A上传数据(本质上是一个RPC调用，建立prpeline),A收到请求会继续调用B,然后B调用C，将整个pipeline建立完成，逐级返回客户端
6.cliect开始往A上传第一个block(先从磁盘读取数据放到一个本地内存缓存)，以packet为单位,A收到一个packet就会传给B，B传C，A每传一个packet会放入一个应答队列等待应答
7.

HDFS读数据流程
概述:客户端将要读取的文件路径发送给namenode,namenode获取文件的元信息(主要是block的存放位置信息)返回给客户端
客户端根据返回的信息找到相应的datanode逐个获取文件的block并在客户端本地进行数据追加并从而获得整个文件

详细步骤解析:
1.跟namenode通信查询元数据,找到文件块所在的datanode服务器
2.挑选一台datanode(就近原则,然后随机)服务器,请求建立socket流
3.datanode开始发送数据(从磁盘里面读取数据输入流,以packet(包)为单位来做校验)
4.客户端以packet为单位接受，现在本地缓存,然后写入目标文件

---

NAMENODE工作机制
理解namenode的工作机制尤其是元数据管理机制,以增强对HDFS工作原理的理解，及培养hadoop集群运营中""性能调优
"namenode"故障问题的分析解决能力
NAMENODE职责:
负责客户端请求的响应
元数据的管理(修改,查询)
namenode对数据的管理采用三种存储方式
内存元数据
磁盘元数据镜像文件
数据操作日志文件(可通过日志运算出元数据)

元数据的checkpoint
每隔一段时间,会由secindary namenode将namenode上积累的所有edits和一个最新的fsimage下载到本地
并加载到内存进行merge(这个过程称为checkpoint)

checkpoint的附带作用
namenode和secondary namenode的的工作目录存储结构完全相同,所以,当namenode故障退出需要重新恢复时,可以从secondary namenode的工作目录中将fsimage考跑到namenode
的工作目录,以恢复namenode的元数据

---

DATANODE的工作机制
1.Datanode的工作职责:
存储管理用户的文件块数据
定期向namenode回报自身所持有的block信息(通过心跳机制上报(3秒一次))

dfs.blockreport.intervalMsec 3600000 Determines block reporting interval in milliseconds. 2.Datanode掉线判断时限参数 datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡 要经过一段时间,这段时间暂称作超时时长.。HDFS默认的超时时长为10分钟+30秒如果定义超时时间为timeout。 ## 观察验证DATANODE功能 上传一个文件,观察文件的block具体的屋里存放情况: 在每一台datanode机器上的这个目录中能找到文件的切块 /home/hadoop/app/hadoop-2.4.1/tmp/dfs/data/current/BP-193442119-192.168.2.120-1432457733977/current/finalized