- 博客(6)
- 资源 (10)
- 收藏
- 关注
原创 M/R的数据源为HBase时须关闭Speculative Execution
在HBase使用Speculative Execution会加重regionserver的load。 因为用Hadoop map/reduce操作HBase的时候,会尽量采用本地原则,即相应的task尽量使用本地的数据。 而如果另起一个task,则会导致数据不在本地,凭空浪费IO和网络资源。 强烈建议关闭 Speculative Execution 方法是在jobconf中设定
2012-05-30 15:40:04 1013
转载 Hadoop容错性
使用Hadoop来运行你的作业的其中一个主要原因就是它的高容错性,就算在由高失败率的节点或网络组成的大集群内运行的作业,Hadoop都可以让作业成功完成。 Hadoop实现容错的主要方法就是重新执行任务,单个任务节点(TaskTracker)会不断的与系统的核心节点(JobTracker)进行通信,如果一个TaskTracker在一定时间内(默认是1分钟)无法与JobTracker进行通信,
2012-05-30 15:30:14 3458
转载 M/R推测性的执行(Speculative execution)
Hadoop系统有一个问题,它把任务分派到很多个节点,其中很有可能有一些慢的节点会限制剩下程序的执行速度。举个例子,如果有个节点内有一个比较慢的磁盘控制器,那它读取输入数据的速度可能只有所有其它节点的速度的10%。所以当99个map任务都已经完成了,系统仍在等待最后那个比较耗时的map任务完成。 通过强迫任务独立运行于其它的任务,使得单个任务之间不会知道它们的输入数据来自哪里。任务相信Had
2012-05-30 15:29:09 3415
转载 关于Java的23种设计模式的有趣见解
原文地址:http://my.oschina.net/wu2leng/blog/59790在网上看见了这篇文章,作者以轻松的语言比喻了java的32种模式,有很好的启发作用。好东西不得不转创建型模式1、FACTORY—追MM少不了请吃饭了,麦当劳的鸡翅和肯德基的鸡翅都是MM爱吃的东西,虽然口味有所不同,但不管你带MM去麦当劳或肯德基,只管向服务员说“来四个鸡翅”
2012-05-29 17:00:13 430
转载 JAVA String.format 方法使用介绍
原地址:http://www.cnblogs.com/xytop/archive/2008/08/26/1277125.html1.对整数进行格式化:%[index$][标识][最小宽度]转换方式 我们可以看到,格式化字符串由4部分组成,其中%[index$]的含义我们上面已经讲过,[最小宽度]的含义也很好理解,就是最终该整数转化的字符串最少包含多少位数字。我
2012-05-27 15:44:05 347
转载 为什么Firefox的Javascript速度无法超越其它浏览器
来源:http://software.solidot.org/article.pl?sid=10/03/05/0249220九尾火狐 写道 "Firefox在速度上暂时落后于chrome safari和opera。原因并不是Mozilla技术差,而是因为其他浏览器支持的javascript,只是Firefox的一个子集,有很多东西,被其他浏览器忽略了。1) 只有Firefox支持E
2012-05-23 15:57:43 507
使FireFox可以正常显示google+图片的插件
2012-09-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人