Hadoop概述
Hadoop是一个用于分布式大数据处理的编程框架。同时它也是个大数据处理完整的生态系统，围绕着Hadoop，这个生态系统还包括但不限于：
- HBase
- Hive
- Pig
- Spark
- ZooKeeper
希望本系列的写作能够坚持下去，对上述内容都有所涉及吧。
Hadoop能干什么
假设老王在某不知名IT公司工作，由于最近太阳活动异常，引起了领导的外甥的读硕士的同学的关注，领导让老王把山西铁岛太阳射电望远镜观测到的近30年的太阳射电数据下载下来，让老王从里面找到最高的记录。老王毕竟搞挨踢已有多年，虽然技术不行，终日碌碌无为，但多年的直觉告诉老王这个很简单。老王立刻下载了其中一个文件并大致看了文件的机构：数据保存在txt文件里，每行N列，其中包含了时间和数据信息列，大约每0.1s记录一条数据，一个文件记录15分钟的数据，大约有9000条记录，1个小时4个文件，1天96个文件，30年大约1051200个文件，一共大约100亿条数据，这其中还有一些损坏的文件，还有一些用9999表示的未检测到值的占位数据需要特殊照顾。
老王觉得单机处理这些数据耗时太久，于是老王找来一些公司淘汰下来的旧服务器（一般小公司最破的机器都是服务器），准备每个机器负责一部分，最后把结果汇总，老王在开发的过程中还是遇到了很多问题，比如，如何分配任务，有的机器破，有的机器新，还有的文件大，有的文件小，总是不能保证所有的任务一起完成，先完成任务的机器闲置浪费掉了资源；还有最后把结果通过网络通信汇总起来，如何保证数据不丢失，不覆盖；还有如果某台机器出了问题，如何重新分配任务，这些非核心业务的开发使得老王心力憔悴，还好，老王最后找到了Hadoop这个工具，这个工具给老王提供了一个简单的编程模型，老王在map方法中写了分配的任务的逻辑，在reduce方法中写了合并结果的逻辑，然后Hadoop帮老王完成了其他所有事情，Hadoop就是干这个的。以上故事纯属虚构，如有雷同，实属巧合。
其实上述意淫的例子里的数据量不是很大，如果每天产生上TB级别的数据，就算是速度很快的固态硬盘也需要小时级时间才能读取一遍，速度还是远远跟不上，终归有上限，而且高性能主机价格不菲，不如把数据分开放到一个相对廉价又可扩展的计算机集群中，每个节点上运行一段程序并处理一小块数据，然后在汇总处理结果，使用Hadoop可以让开发者不必把精力放在集群的建设上，采用Hadoop提供的简单的编程模型就可以实现分布式处理。
Hadoop的构造模块
Hadoop集群中运行的守护进程共有5类：
- NameNode
- DataNode
- Secondary NameNode
- JobTracker
- TaskTracker
Hadoop集群中的机器（节点）分为2类：主节点和从节点，NameNode、JobTracker所在节点为主节点(负责管理)，DataNode和TaskTracker所在节点为从节点（负责干活儿）。
NameNode
NameNode节点负责将一个文件分成若干文件块，并记录了HDFS文件系统中的文件块放了在哪些DataNode中（一个数据块被冗余地放到1个或多个DataNode节点中），一个集群中只有一个NameNode节点（Hadoop2.X中情况有所不同了），且该节点通常不再运行DataNode和TaskTracker守护进程。
DataNode
DataNode实际管理很多NameNode分配给它的很多数据块，当有文件块变动时会通知NameNode，同时也从NameNode接受指令。一个集群中有多个DataNode节点，DataNode之间也会保持联系，复制冗余文件块，这样当一个DataNode出现故障后不会影响到文件的完整性。
Secondary NameNode
SNN只与NameNode通信，定时获取HDFS元数据的快照，一个集群只有一个SNN，且SNN所在节点只运行SNN守护进程，不干其它的事情。当NameNode出现故障后，可以人工启用SNN作为NameNode。
JobTracker
JobTracker负责分配MapReduce任务给TaskTracker，负责监控任务的执行，如任务失败后重启任务。JobTracker守护进程运行在主节点上，通常该节点不运行DataNode和TaskTracker守护进程。
TaskTracker
TaskTracker负责完成JobTracker分配的任务并和JobTranker进行通信，回报情况。TaskTracker守护进程运行在多个子节点上
看图说话
上图中，NameNode和JobTracker是分开的，如果集群规模不大也可以运行在同一个节点上（如果这个节点出现故障该如何恢复？）
108
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
