- 博客(4)
- 收藏
- 关注
RSS订阅原创 常用HTTP Content-type头信息及文件类型对照
ai application/postscript aif audio/x-aiff aifc audio/x-aiff aiff audio/x-aiff
2014-07-10 21:11:21
780
原创 hadoop计数器（二）
MapReduce Counter为提供我们一个窗口：观察MapReduce job运行期的各种细节数据。今年三月份期间，我曾经专注于MapReduce性能调优工作，是否优化的绝大多评估都是基于这些Counter的数值表现。MapReduce自带了许多默认Counter，可能有些朋友对它们有些疑问，现在我分析下这些默认Counter的含义，方便大家观察job结果。 我的分析是基于H
2014-07-10 18:56:40
604
转载 hadoop计数器（一）
转自：http://yjplxq.blog.51cto.com/4081353/1330128 org.apache.hadoop.mapreduce.FileSystemCounter FILE_BYTES_READ FILE_BYTES_WRITTEN FILE_READ_OPS FILE_LARGE_READ_OPS FILE_WRITE_OPS HDFS_B
2014-07-10 18:48:18
988
转载 hive小文件合并
转自：http://blog.csdn.net/yfkiss/article/details/8590486 当Hive输入由很多个小文件组成，由于每个小文件都会启动一个map任务，如果文件过小，以至于map任务启动和初始化的时间大于逻辑处理的时间，会造成资源浪费，甚至OOM。 为此，当我们启动一个任务，发现输入数据量小但任务数量多时，需要注意在Map前端进行输入合并 当然，在我们向一个
2014-07-10 16:22:19
620
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人