Hadoop基本知识笔记

前言：近期学习了关于Hadoop的一些基础的知识，自己做了一个小小的总结，出来给大家分享一下，希望对你有所帮助。
先给大家说一下关于大数据的基本定义及是做什么的。
大数据的定义：大数据是由就巨型的数据集组成，这些数据集大小超出人类在可接受时间下的收集，使用，管理和分析能力。
大数据能做什么：企业组织利用相关数据和分析可以帮助他们降低成本、提高效率、开发新产品、做出更加明智的业务决策等等。
大数据的基本作用及是什么给大家介绍完了，下面我们话归正题，说一下我个人对于Hadoop的见解。
大家能来搜索关于Hadoop的知识，想必大家也都知道Hadoop是什么，能做什么了吧，这里也就不多说，直接进入正题。
首先先说一下Hadoop的三大组件都有什么吧
Hadoop常用组件
HDFS（Hadoop分布式文件系统）
MapReduce（分布式计算框架）
Zookeeper（分布式写作服务）
Hbase（分布式列存数据库）
Hive（基于Hadoop的数据仓库）
Sqoop（数据同步工具）
Pig（基于Hadoop的数据流系统）
Mahout（数据挖掘算法库）
Flume（日志收集工具）
介于Hadoop组件比较多，下面我就给大家详细介绍一下Hadoop的三大核心组件吧。
Hadoop三大核心组件
1.HDFS（最基础的组件，分布式文件系统）
2.Map Reduce（分布式计算框架）
3.Yarn（集群资源管理系统）

HDFS角色及概念
HDFS概念
是数据存储管理的基础，它是一个高度容错的系统，用于在低成本的通用硬件上运行。
HDFS角色
NameNode
Master节点，管理HDFS的名称空间和数据块映射信息，处理客户端请求。
Secondary NameNode
定期合并fsimage和fsedits，推送给NameNode
紧急情况下，可辅助回复NameNode
但Secondary NameNode并非是NameNode的热备
DateNode
数据存储节点，存储实际的数据
汇报存储信息给NameNode
Client
访问HDFS
与NameNode交互，获取文件位置信息
与DateNode交互，读取和写入数据
Block
每块缺省64MB大小
每块可以多个副本

MapReduce角色及概念
MapReduce概念
JAVA实现的分布式计算框架
MapReduce的角色
JobTracker
Master节点，只有一个
管理所有作业
任务/作业的监控、错误处理等等
将任务分解，分派给TaskTracker
TaskTracker
Slave节点，一般是多台
运行Map Tesk和Reduce Task
与Job Tracker交互，汇报任务状态
Map Task
解析每条数据记录，传递给用户编写的map（），并执行，将输出结果写入本地磁盘（如果为map-only作业，直接写进HDFS）
Reducer Task
从Map Tesk的执行结果中，远程读取输入数据，对数据进行排序，将数据按照分组传输给用户编写的reduce编写

Yarn角色及概念
Yarn的核心思想
将JobTracker和TaskTacker进行分离
Yarn概念
是Hadoop的一个通用资源管理系统
Yarn角色
Resource Manager
处理客户端请求
启动/监控ApplicationMaster
监控NodeManager
资源分配与调度
NodeManager
单个节点的资源管理
处理来自ResourceManager的命令
处理来自ApplicationMaster的命令
Container
对任务运行环境的抽象，封装了CPU、内存等
多维资源以及环境变量、启动命令等任务运行相关的信息资源分配与调度
ApplicationMaster
数据切分
为应用程序申请资源，并分配给内部任务
任务监控与容错
Client
用户与Yarn交互的客户端程序
提交应用程序监控应用程序状态，杀死应用程序等

以上是我近期学习对Hadoop一些简单的见解，如对您有帮助，请借鉴；
若有什么不对之处，请您勿喷。
我是一枚运维工程师，如有交流学习的可加微信（2313717286）；大家可以一起讨论交流，共同进步。