- 博客(5)
- 收藏
- 关注
RSS订阅转载 在多硬盘情况下的Hadoop配置注意项
原文地址：http://blog.csdn.net/dajuezhao/article/details/6797015一、背景1、最近在做hadoop的性能测试，采用了自带的Terasort的方式，但是在运行的过程中发现如果数据量过大，对硬盘I/O需求不小（通过Ganglia监控发现），因此，打算找找看是否有合适的配置来解决这样一类的问题，所以才有了这篇记录的文档。2、在做修改之前
2012-04-23 20:04:55
1354
转载 hadoop 各类key value分隔符参数
原文地址：http://wingmzy.iteye.com/blog/1260570hadoop中的map-reduce是处理这样的键值对，故指定的分割符等参数可以分成三类：map输出时分割符分桶时的分隔符reduce输出时的分割符下面分别叙述：1. map输出时分割符参数：stream.map.output.field.sepa
2012-04-15 21:40:33
5473
原创 hbase的bulk load一个小改造(续)
之前写了一篇文章hbase的bulk load一个小改造，最近在这个改造的基础上做了一些性能测试，呵呵，在这期间发现了新的问题，对此也有了一些新的认识，在这里分享一下，欢迎大家拍砖。之前提到hbase的bulk load是一个mapreduce任务，其中reduce的数目是表的region数目来决定的，这一点一直没有理解hbase为什么要这么做。呵呵，前两天对一个有200多个region的表进
2012-04-15 11:12:21
3011
原创 hbase关闭cache的配置
关闭hbase的cache：hbase的配置项中 hfile.block.cache.size 0.2 Percentage of maximum heap (-Xmx setting) to allocate to block cache used by HFile/StoreFile. Defa
2012-04-01 16:26:13
4413
1
原创 hadoop的内存heap大小的配置参数
1、tasktracker的heapsize的大小设置 mapred.child.java.opts -Xmx200m Java opts for the task tracker child processes. The following symbol, if present, will be interpolated: @taskid@ is replaced
2012-04-01 15:41:18
17274
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人