hadoop
关注
分享
扫一扫
popsuper1982
腾讯云T4架构师。毕业于上海交通大学，15年云计算领域研发及架构经验，先后在EMC，CCTV证券资讯频道，HP，华为，网易，腾讯从事云计算和大数据架构工作
曾出版《Lucene应用开发揭秘》多次作为邀请讲师参加Dockone容器技术大会，Segmentfault开发者大会，InfoQ全球架构师峰会（明星讲师），CSDN SDCC大会，51CTO WOTA大会等
展开
-
Hadoop源码分析(1)：HDFS读写过程解析
一、文件的打开1.1、客户端HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize)，其实现为：public FSDataInputStream open(Path f, int bufferSize) throws IOException { return new DFSC原创 2016-06-08 20:36:43 · 1870 阅读 · 0 评论 -
hadoop源码分析(2)：Map-Reduce的过程解析
一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的：public static RunningJob runJob(JobConf job) throws IOException { //首先生成一个JobClient对象 JobClient jc原创 2016-06-08 20:39:49 · 618 阅读 · 0 评论 -
Hadoop源码分析(3): Hadoop的运行痕迹
在使用hadoop的时候，可能遇到各种各样的问题，然而由于hadoop的运行机制比较复杂，因而出现了问题的时候比较难于发现问题。本文欲通过某种方式跟踪Hadoop的运行痕迹，方便出现问题的时候可以通过这些痕迹来解决问题。一、环境的搭建为了能够跟踪这些运行的痕迹，我们需要搭建一个特殊的环境，从而可以一步步的查看上一节提到的一些关键步骤所引起的变化。我们首先搭建一个拥有原创 2016-06-08 20:41:50 · 1653 阅读 · 0 评论 -
Hadoop源码分析：Hadoop编程思想
60页的ppt讲述Hadoop的编程思想下载地址http://download.csdn.net/detail/popsuper1982/9544904原创 2016-06-08 20:43:56 · 655 阅读 · 0 评论