hadoop性能测试

从搭建hadoop环境到测试完成大概用了8,9天的时间，总的来说，hadoop上手还是比较容易的，只是内部确实有点复杂。

测试环境部署用了22台机器，CPU 16核，感觉有点浪费。

日志每分钟往hdfs写600M的log，每五分钟提交一次hadoop任务，大概一个任务处理2G多点的文件，测试结果，到reduce 完成时间大概是1分9- 1分30秒之间，大概是开了90多个map, 这在以前pc上是不可想象的速度，后来自己稍微改进了下，加了combine，效率大大提升， 每次都是20秒左右就完成了，大概只有原来的1/4左右的时间，主要 combine

是本地map的同时完成reduce，然后再将reduce 的结果汇总做一次reduce，等于集群22台机器都做了map和reduce, 原来只是一台做reduce。

下个星期准备研究下comparaor，到时候再做个性能比较，可能同时还得搭个Twitter的storm的测试环境，一个是实时的， 一个非实时的。