Hadoop系统通信协议介绍

本文约定:
DN: DataNode
TT: TaskTracker
NN: NameNode
SNN: Secondry NameNode
JT: JobTracker


本文介绍Hadoop各节点和Client之间通信协议。

Hadoop的通信是建立在RPC的基础上,关于RPC的详解介绍大家可以参照 [url=http://www.tbdata.org/archives/1413]"hadoop rpc机制 && 将avro引入hadoop rpc机制初探"[/url]

Hadoop中节点之间的通信是比较复杂的一个网络,若可以把它们之间的通信网络了解清楚,那么对于Hadoop的整体框架理解会有很大帮助。


HDFS中有5种协议:
DatanodeProtocol (DN && NN)
InterDatanodeProtocol (DN && DN)
ClientDatanodeProtocol (Client && DN)
ClientProtocol (Client && NN)
NamenodeProtocol (SNN && NN)

Map/Reduce 中有3种协议:
InterTrackerProtocol (TT && JT)
JobSubmissionProtocol (Client && JT)
TaskUmbilicalProtocol (Child && TT)

其中,DatanodeProtocol,ClientDatanodeProtocol,InterTrackerProtocol,TaskUmbilicalProtocol,JobSubmissionProtocol这5种协议通信频繁。

这8种协议在Hadoop中是作为接口存在,8种协议都继承接口VersionedProtocol。
协议的实现主要集中在类: JobTracker, NameNode, TaskTracker, DataNode 这4个类中。

其中
JobTracker实现两个接口: InterTrackerProtocol,JobSubmissionProtocol
TaskTracker类实现: TaskUmbilicalProtocol

NameNode类实现: DatanodeProtocol,ClientProtocol,NamenodeProtocol
DataNode类实现: InterDatanodeProtocol,ClientDatanodeProtocol

类图参照下图

[img]http://dl.iteye.com/upload/attachment/422371/ddee51a7-5a04-3482-a54b-7ac3c96d5a5b.jpeg[/img]


下面单独介绍每种协议


[b]1.InterTrackerProtocol (TaskTracker & JobTracker通信协议)[/b]
协议简介:
TT 每隔一段时间向JT发送heartbeat提交当前TT所在机器的内存,CPU,磁盘等状态信息,是否可以接收新任务等信息;JT接收到 heartbeat给TT返回需要所做的job或task操作,是否开启新的任务。TT可以从取得JT取得当前文件系统路径,需要执行Job的Jar文件路径等。

方法介绍:
heartbeat() //TT周期性(最短时间缺省时间是3秒)的调用heartbeat给JT发送heartbeat

输入参数:

TaskTrackerStatus: TaskTracker机器状态信息

空闲磁盘信息,虚拟和实际内存信息,Map使用内存,Reduce使用内存,可以虚拟和物理内存,累计 CPU 时间,CPU频率,CPU处理器个数,CPU使用率

Restarted: 是否是第一次启动

initialContact: 是否需要初始化

acceptNewTasks: 是否能接收新的Task (Map/Reduce)

responseId: 上次从JT成功接收的ID

返回结果:(JobTracker返回HeartbeatResponse )

HeartbeatResponse对象有以下几个属性:

responseId:返回应答ID

heartbeatInterval: heartbeat间隔

action列表: JT需要TT所做的操作(LAUNCH_TASK,KILL_TASK,KILL_JOB, REINIT_TRACKER,COMMIT_TASK)

getFilesystemName: TaskTracker调用一次,取得的文件系统路径
reportTaskTrackerError: TT报告问题到JT
getTaskCompletionEvents: 取得jobid的task完成信息
getSystemDir: 取得执行Job所需要文件的路径

[b]2. JobSubmissionProtocol(JobClient & JobTracker 之间通信)[/b]
协议简介:
主要用来提交,执行Job和取得当前Job状态;
JobClient可以通过此协议提交Job(submitJob),取得当前job的参数,状态,Counter,Task状态,文件系统路径,jar文件路径,所有job的状态,还有Job队列的信息,
此外JobClient还可以提交KillJob和设定Job优先级等任务到JobTracker;

主要方法:
getNewJobId:分配JobId
submitJob:提交Job执行,返回Job状态
getClusterStatus:取得当前Cluster的状态,如果detailed为true还报告tracker names信息,返回cluster状态
killJob:Kill Job
setJobPriority:设定job优先级
killTask:Kill 任务attempt
getJobProfile: 取得已运行的job的句柄
getJobStatus: 取得已运行Job的状态
getJobCounters: 取得job的Counter
getMapTaskReports: 取得Job的各个Map Task报告
getReduceTaskReports: 取得Job的各个Reduce Task报告
getCleanupTaskReports:取得CleanupTask结果报告
getSetupTaskReports:取得Setup Task报告
getFilesystemName: 返回文件系统的名称
jobsToComplete: 取得没有完成和没有失败的Job状态(正在运行Job)
getAllJobs:取得所有Job状态
getTaskCompletionEvents: 取得特定Jobid完成的事件
getSystemDir:取得job文件存放的路径
getQueues:取得JobTracker的队列集合
getQueueInfo: 取得一个Job的调度信息
getJobsFromQueue:取得一个队列中所有提交的job


[b]3. TaskUmbilicalProtocol (Child & TaskTracker)[/b]
协议简介:
Child & TaskTracker之间通信协议:
Child通过此协议,查看TT是否存在,取得任务,报告任务的进度,状态,出错信息,Commit文件到HDFS,并取得map结果给reduce;TaskTracker接收任务并监控任务的进度

主要方法:
getTask: Child运行时,调用此方法取得task任务
statusUpdate: 报告child进程进度
reportDiagnosticInfo:
reportNextRecordRange:报告Task下一步将要处理的记录范围
ping: child周期性的调用此方法来查看parent(TaskTracker)是否存在
commitPending: 报告此任务任务已完成,但是文件还未提交(还未Commit)
canCommit: 轮询task是否可以提交文件(Commit)
getMapCompletionEvents:Reduce任务调用此方法取得Map输出文件, 返回map状态更新(map完成事务)

[b]4. DatanodeProtocol (NN & DN)[/b]
协议简介:
DN注册信息到NN,发送当前DN,block等信息到NN(发送block报告,发送block错误报告)
NN返回DN需要执行的操作(删除block或copy)

主要方法:
register :注册DN到NN
sendHeartbeat: DN报告NN,存在以及当前状态; NN返回DN DatanodeCommand数组,告诉DN需要做的操作(标记block失效,Copy等)
blockReport: blockReport()告诉NameNode所有本地的块列表,NameNode返回一个废弃的需要删除的块的列表; 这个功能可以通知NameNode自己机器上的块的情况,当hadoop启动的时候,通过这个方法NameNode重建block和DN的关系表;其他情况会定期检查(缺省时间一个月)
blockReceived: DataNode告诉NameNode,最近收到的block (假如有超过重复因子数量的额外的块会删除) 例如:client写入一个新块,或另一个DN拷贝一个block到此DN,会调用此方法
errorReport: 报告NameNode 数据节点发生错误
processUpgradeCommand: 给NameNode发送升级命令,返回更新命令
reportBadBlocks: 报告错误的Block 
nextGenerationStamp: 返回某一块的新的时间戳
commitBlockSynchronization: Commit block synchronization in lease recovery

[b]5. InterDatanodeProtocol (DN & DN)[/b]
协议简介:
取得blockmeta,更新block信息等

主要方法:
getBlockMetaDataInfo: 取得某blockMeta信息
updateBlock:更新Block信息(主要是时间戳和长度)


[b]6.NamenodeProtocol (NN & SNN)[/b]
协议简介:
取得DN块列表,回滚edit log, 回滚FsImage

主要方法:
getBlocks: 取得某DataNode的 BlockLIst 并且是固定的Size,返回一个block和位置数组
getEditLogSize:取得当前edit log的size
rollEditLog: 关闭旧的edit log,打开一个新edit log (返回CheckpointSignature : 一个独立的事务ID)
rollFsImage: 主要工作删除旧的fsImage, 拷贝新的image到fsImage; 删除旧的old edits, 重命名到edits

[b]7.ClientDatanodeProtocol (Client && DN)[/b]
协议简介:
recoverBlock: 恢复block,返回new blockId和 generation stamp


[b]8.ClientProtocol (Client & NN)[/b]
协议简介:
Client-->NN: 用户进行文件操作,文件系统操作,系统管理和问题处理的接口


主要方法:
getBlockLocations: 得到文件某个范围内块的DN列表( 排序是按照和client的远近来排序, 之后Client根据DN位置,直接去最近DN取得实际数据),
create: 创建一个新的文件
append: 追加内容到一个文件结尾(dfs.support.append 为 true时 起作用)
setReplication: 设定当前文件的重复因子
setPermission: 设定存在的文件/目录的权限
setOwner: 设定一个路径的owner
abandonBlock: 丢弃一个block
addBlock: 文件里写入Block
complete:结束写数据,如果文件正常关闭true; 否则 false
reportBadBlocks: Client向NameNode报告损坏的Block
rename: 重命名一个文件或者目录
delete: 删除一个文件或者目录
mkdirs: 创建一个目录
getListing: 返回文件目录状态
renewLease: 判断client 是否dead
getStats: 取得fileSystem的状态
getDatanodeReport: 取得当前datanode的report
getPreferredBlockSize: 取得文件的block size
setSafeMode: 进入safe mode
saveNamespace: 保存namespace image
refreshNodes: NameNode重新读取Hosts文件
finalizeUpgrade: 结束上次更新
metaSave: 将当前系统namenode数据结构dump到一个文件,如果存在那么追加
getFileInfo: 取得文件的信息
setQuota: 设定文件目录的配额
getContentSummary: 目录的内容摘要
fsync: 同步文件所有metadata到文件
setTimes: 设定文件时间


注:本文写作基于hadoop 0.20.2,其他版本某些函数会有改变
想共同探讨Hadoop请联系作者: hadoop123 at gmail.com
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值