![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop源码阅读
alain898
这个作者很懒,什么都没留下…
展开
-
DistributedCacheManager
TaskDistributedCacheManager:管理的是单独一个job的缓存文件(cached files)TrackerDistributedCacheManager:管理的是一个TaskTracker中由所有job共享的缓存文件原创 2013-07-07 22:20:34 · 528 阅读 · 0 评论 -
hadoop中的MetricsSystem类的含义
generateNewIdentifier()返回系统当前时间字符串,如"201307032019"metrics system :度量系统,是用于计量某个事物的各个可测量属性的多个计量单元的集合。而在HADOOP中这个“事物”是指JVM。每一个JVM都有且仅有一个MetricsSystem的实例,就是DefaultMetricsSystem中的单例“INSTANCE”。而每一个JVM中都原创 2013-07-03 22:45:05 · 871 阅读 · 0 评论 -
map任务中的Mapper类
在Hadoop1.1.2中,Mapper.java中的Mapper并不是一个接口,而是一个类;但是其作用就是一个接口,Mapper类是这个接口的默认实现;我们在写自己map-reduce应用时,需要按照自己的需求实现自己的MyMapper类,我们实现的MyMapper类就必须是继承自这个Mapper类。从源代码来看,原理如下所示:在MapTask.java的runNewMapper函数原创 2013-07-18 10:59:17 · 880 阅读 · 0 评论 -
hadoop几个版本区别
转载自http://blog.csdn.net/chlaws/article/details/84796270.20.x是历史稳定版0.23.x是根据0.20.x的稳定版引入了federation和yarn,但缺少NN和HA1.0.x是当前稳定版,但和0.20.x系列差不多,只不过有些优化改进1.1.x是beta版2.0.x 现在是alpha版,有yarn和federati转载 2013-07-17 13:52:08 · 768 阅读 · 0 评论 -
什么是Web应用程序?什么是JavaBean?
前两天读hadoop的源码,看到其中JMX部分用到了Bean的概念,于是到网上查了些关于Bean的资料。结果呢,尼玛找了些关于EJB(enterprise java beans)的资料,以为带个java、带个bean字样就是javabean了。后来看了半天发现EJB这货压根不是我期望学习的资料。然后,将错就错吧,找了《enterprise java beans3.0中文版》这本书,读到了一些关于W原创 2013-07-13 16:49:32 · 1147 阅读 · 0 评论 -
将分片split的信息写入到job.split和splitmetainfo文件中
int writeNewSplits(JobContext job, Path jobSubmitDir) throws IOException, InterruptedException, ClassNotFoundException { Configuration conf = job.getConfiguration(); InputFormat input原创 2013-06-25 20:42:06 · 1964 阅读 · 0 评论 -
map任务中,merge过程的实现方法
大写的FS表示“分布式文件系统”map任务中,merge的排序算法首先,在map任务产生的所有中间文件(即IFile格式文件)中,选择文件大小最小的io.sort.factor(即源代码中的factor变量)个文件,然后将代表这些文件的Segment实例化对象各自作为一个节点,建成一个“小顶堆”。而对这个小顶堆中各个节点排序的比较方法,实际上就是在比较各个Segment第一个键值对原创 2013-07-11 13:33:10 · 2259 阅读 · 0 评论 -
mapreduce中的split(分片)问题
//这是hadoop1.0.4中LineRecordReader.java中的一段代码 public void initialize(InputSplit genericSplit, TaskAttemptContext context) throws IOException { FileSplit split = (F原创 2013-06-25 09:58:28 · 3458 阅读 · 3 评论 -
TaskTracker向JobTracker发送心跳时的问题
HeartbeatResponse transmitHeartBeat(long now) throws IOException { // Send Counters in the status once every COUNTER_UPDATE_INTERVAL boolean sendCounters; if (now > (previousUpdate + CO原创 2013-07-09 20:49:12 · 680 阅读 · 0 评论 -
TaskTracker上进行作业本地化的过程
下面是在TaskTracker上进行作业本地化的过程:(注意Task与TaskTracker是运行在同一个节点上的,因为Task所在的JVM是由TaskTracker启动的)// intialize the job directory RunningJob localizeJob(TaskInProgress tip) throws IOException, Interrup原创 2013-07-09 22:38:25 · 509 阅读 · 0 评论 -
Jaas中的各种概念
Subject :表示一个用户(人或程序)Principals :既可以代表一个用户的各种“身份证件(即identity)”,也可以代表一个用户的各种“身份角色(即role)”原创 2014-01-05 21:09:03 · 704 阅读 · 0 评论