hadoop2.0新特性剖析及应用 学习笔记

2019独角兽企业重金招聘Python工程师标准>>>

Hadoop 1.0

Ambari 安装部署工具，专门统一安装和部署Hadoop所有组件
Oozie是个作业流任务调度系统，用来调度hive,pig,mahout任务的执行
Pig是个工作流引擎

Hadoop 2.0概述

Ambari安装部署工具，专门统一安装和部署Hadoop所有组件
Oozie是个作业流任务调度系统，用来调度hive,pig,mahout任务的执行
Pig是个工作流引擎
Yarn是个分布式计算框架，管理整个集群的资源

HDFS2.0新特性

HA 单点故障的解决方案，支持多个Name Node，解决了内存受限的问题。提供了standby Name Node，相当与从Name Node，当主NameNode挂掉后可以自动切换
异构层级存储结构，集群中支持多种异构介质，如磁盘，RAM，SSD等。
HDFS ACL，实现和linux的文件/目录权限类似的功能
HDFS 快照，防止误删除和数据备份，每个目录都可以显式的设置快照
HDFS缓存，默认是无缓存
Yarn History Server，提供执行历史查询功能，方便调优

MapReduce变成了客户端类库

运行环境由JobTracker和TaskTracker组成
JobTracker只能对MapReduce作业进行资源管理和任务调度

转载于:https://my.oschina.net/jim19770812/blog/304551