hadoop源码之hdfs(1)---通信协议

说起hadoop这个东西，只能说真是个伟大的发明，而本人对cutting大神也是无比的崇拜，记得刚接触hadoop的时候，还觉得这个东西挺多余的，但是现在想想，这个想法略傻逼......

2006-2016，hadoop至今已经走过了10个年头，版本也已经发展到2.7了，现在hadoop3.0也快出来了，虽然spark，flink这些优秀的框架近几年的势头非常的强劲，但是我认为，近几年内并不会有哪个框架会取代hadoop，所以其实还是挺值得研究的。

那么我这系列的文章呢，主要是想讲讲Hadoop的核心组件HDFS，这个文件系统现在应用真是非常的广泛，特别是hadoop由1.x升到2.x之后，hdfs不论是从容错性、可靠性、可扩展性都有了非常大的提升，体系结构也有了很大的变化。正巧最近忙里偷闲阅读了一下hdfs的源代码和看了一本介绍hdfs源代码的书，希望分享下我自己的一些理解吧。

首先简单说说HDFS的基本结构吧，主从式架构相信大家都非常熟悉，hadoop也是采用这一个，由namenode和datanode组成，但是在1.x版本中已经证实了仅仅依靠secondary namenode来保证hadoop集群的可靠性是远远不够的，因为secondary namenode不是热备份，而只是帮助namenode恢复数据而已，并且数据也不是恢复到最新的数据（有关secondary namenode的帮助恢复的工作原理有兴趣的朋友可以留留言，我可以简要介绍下，要是大家都有这个需求我就另发一篇讲讲这个secondary namenode，不过这个都是1.x的事了，大家应该不感兴趣吧哈哈~），因此，要保证hadoop集群的高可用，在2.x中引入了HA机制，有关这个HA机制，主要是以来zookeeper来实现的，这里先不细讲，后面我会专门写文章讲这个的，这里主要HDFS结构中几种节点的通信。