2013年12月_maixia24

12月 11月 10月 09月 08月 07月 06月 05月 04月

原创 Mapreduce 读hbase

在tasker中设置conf.set("hbase.mapred.outputtable", "user_feature_news_forever_interest_topic");

2013-12-12 10:57:46 660

原创经过多方努力解决了ubuntu grub启动的问题 root命令找不到

win7 ubuntu双系统，后装windows会覆盖ubuntu启动文件我的情况较为复杂主要参考http://www.cnblogs.com/uptownBoy/articles/2041631.html引用加自己总结在Linux中，GRUB的配置中的安装和写入硬盘的MBR；grub-install /dev/hdagrub>root=(hd0,1)

2013-12-06 23:28:25 13884 1

原创 ubuntu启动问题

http://hi.baidu.com/3feiyu/item/df763ed8cc29753a49e1dd23http://www.2cto.com/os/201208/146630.htmlhttp://whuyinpeng.blog.163.com/blog/static/1738971272010106105035428/http://www.linuxidc.

2013-12-03 18:23:38 838

原创 inputSplit.java分析

/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding

2013-12-03 15:52:45 1202

原创 hadoop源码分析 jobsplit

ClusterMetrics.java类： Status information on the current state of the Map-Reduce cluster. * Mapreduce集群的当前状态 * 提供给client如下信息： * 集群大小 * 黑名单和过期的tracker * 集群的容量 * 当前Map reduce占用 * 当前运行的map

2013-12-03 15:51:43 797

原创 Hadoop源码分析之Id.java

ID.java 接口， implements WritableComparable 是 jobId taskId TaskAttemptID的基类JobId.java * jobid是job的唯一不变的代表。jobid包括两部分，第一部分代表jobtracker的唯一，对于集群安装来说，这个字符串是 * jobtracker的开始时间对于本地设置来说，他就是本地

2013-12-03 15:46:10 604

原创 jobcontrol类

* 这个类包括一系列Mapreduce jobs和它的依赖 * 它通过根据状态把job放到不同的表里面，跟踪jobs的状态， * 当一个job被添加进来一个组的唯一标示ID 被分配给这个job。 * * 这个类有一个线程，当job准备好的时候，提交job，监控运行的job的状态，并且依据他们的依赖job状态，更新job的状态。 * 这个类提供挂起恢复停止线

2013-12-03 13:03:10 1092

原创 Job源码分析

/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding

2013-12-01 17:12:18 2480

原创 JobContext源码分析

/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding

2013-12-01 16:30:44 2650