- 博客(5)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 hadoop0.21.0中提供的测试工具
我们常常需要对HDFS或者mapreduce进行一些性能方面的测试，比如测试rpc的性能，测试DFS的IO读写性能，测试DFS的吞吐率性能，测试namenode的benchmark性能，mapreduce的sort性能等等。在hadoop的发行版中，其实已经提供了许多类似的工具，并已经打包成jar，供我们使用。以下是0.20.2中自带的一系列工具列表： DFSCIOTest Distributed i/o benchmark of libhdfs. DistributedFSCheck Distri
2011-01-17 15:52:00
2201
原创 hadoop性能调优的一些笔记
1、同构机器表现优于异构，即使在良好集群中添加差的机器也会整个拖慢集群的效率，可能有些方法进行调整，但是作为私有云最好不用异构 2、入库机器需要大于datanode节点的数量，实测的数据是单节点100MB/s ，2节点实测数据是136MB/s，由于总共就5台机器，所以无法测3节点入库速率。 3、job执行的时候，当跑1.3T的数据时总共耗时3小时40分钟。在5台节点机的情况下相当理想
2011-01-12 15:54:00
1575
3
原创 linux一些硬件详情查看的高级方法（网卡，内存，硬盘，cpu）
网卡-lspci 内存大小和个数—— dmidecode|grep -A16 "Memory Device$" 查看硬盘型号——smartctl -a /dev/sda 查看硬盘大小——fdisk -l 查看硬盘挂载——df -h 查看cpu信息——cat /proc/cpuinfo
2011-01-11 15:53:00
1437
原创 mapreduce中map和reduce的最大并发数量设置
reduce数量究竟多少是适合的。目前测试认为reduce数量约等于cluster中datanode的总cores的一半比较合适，比如cluster中有32台datanode,每台8 core，那么reduce设置为128速度最快。因为每台机器8 core，4个作map,4个作reduce计算，正好合适。 以上所说的是总的map和reduce数，那么具体到每台机器的最大并发map/reduce应该就以该机器的cores数/2合适
2011-01-07 15:52:00
4801
转载 hadoop 中MapReduce因为文件打开文件数目超过linux限制报错
haoop中mapreduce报错 java.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting… at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158) at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSCl
2011-01-07 15:51:00
2914
hbase培训ppt
2013-05-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人