2008年11月的“Hadoop in China第一次会议”只有60人参加,5年过去了,Hadoop在国内技术圈已经从鲜为人知发展到了无人不晓,刚刚结束的2013中国大数据技术大会上,笔者深刻体会到了这一点,Hadoop及大数据技术将大家聚集到一起,大批早期的研究者也已经成为Hadoop技术的推动者和布道者。
ITeye博主caibinbupt(蔡斌)就是其中之一,蔡斌从2008年开始研究Hadoop,并陆续在ITeye的博客上发表了一系列Hadoop源码分析的文章,是国内Hadoop应用和源代码研究领域的先驱之一。现在蔡斌已经成为资深Hadoop技术专家,基于Hadoop的开源项目X-RIME的作者之一,并著书《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》,目前担任腾讯数据平台部的高级工程师,从事Hadoop相关技术的研究、应用和实施。
从2008年11月4日第一篇“经济不行啦,只好潜心研究技术”的调侃中,蔡斌开始了Hadoop源码分析的连载。从Hadoop核心的HDFS和MapReduce入手,分析最基本的jar包甚至是类,文字浅显易懂,还附有大量的UML图,分析得深入浅出,只要有Java基础的人都能看懂。
org.apache.hadoop.io中对象的关系(图片来自caibinbupt博客)
关于HDFS的源码分析,蔡斌写了41篇,MapReduce的源码,蔡斌分析了20篇左右。相信读完这些文章,会对Hadoop的优化、定制和扩展有一些新的看法,再读Google的GFS和MapReduce也会有些不一样的认识。
更重要的是博主思维模式的学习,可能很多人的学习都是从如何搭建Hadoop环境,如何编写Hadoop程序开始的,很少会去读源码,但长久下去可能只会浮于表面,后期的进步会比较困难。从源码入手,兼顾上层的架构,可能会很慢,但是绝对值得你花时间。
技术博客是学习新技术的渠道之一,他们的实践经验更有参考性,可读性较高。他们博客中轻描淡写的几句话,可能就是你实践中冥思苦想数天的灵丹妙药,几句忠告,也可能让你少走很多弯路。CSDN及ITeye的博客汇集了大批的优秀博主,近期我们会挖掘冰山下蕴藏的巨大宝藏,让这些作者的潜心研究浮出水面,惠及更多的技术爱好者。如果你也是Hadoop技术爱好者,有Hadoop技术经验,并发表过数量不少、质量也不错的技术文章,欢迎通过评论或@CSDN云计算微博联系我们。
为了加强互动和协作 ,CSDN特别打造的Hadoop与大数据周刊,涵盖大数据及Hadoop领域,萃取最精华Hadoop与大数据技术内容,涵盖大数据及Hadoop领域的最新技术动态、创新企业、人物访谈、技术分享,每周四发送,欢迎订阅。(文/周小璐 审校/仲浩)
本文为CSDN原创文章,未经允许不得转载,如需转载请联系market#csdn.net(#换成@)