Hadoop 2.x 生态系统组成
hadoop 组成
namenode
元数据服务器,属于管理层,用于管理数据的存储,主节点,存储文件的元数据,如文件名,文件目录结构,文件属性,生成时间,副本数,文件权限)及每个文件的块列表及块所在datanode等。
secondary namenode 辅助元数据服务器
jobtracker
任务调度员,管理层程序,管理集群资源并对任务进行资源调度,监控任务执行,负责用户提交的作业,负责启动,跟踪任务的执行。
datanodes
块存储 属于应用层,用户数据存储在datanodes ,被namenode 管理,定时向namenode汇报工作情况,执行namenode 分配分发的任务,存储文件块数据及块数据的校验和。
tasktrackers
任务执行,应用层程序,执行jobtracker分发的任务,并想jobtracker 汇报工作情况,管理各个任务在每个节点的执行情况。
mapreduce 分布式离线计算框架
yarn 集群资源管理系统
hdfs 分布式文件系统
hadoop 部署模式
单机模式 standalone
伪分布式模式 pseudo-distriubuted
一台机器上运行所有的hadoop 服务(五个守护进程)
全分布式模式 fully distributed