- 博客(4)
- 收藏
- 关注
原创 常用HTTP Content-type头信息及文件类型对照
ai application/postscript aif audio/x-aiff aifc audio/x-aiff aiff audio/x-aiff
2014-07-10 21:11:21 780
原创 hadoop计数器(二)
MapReduce Counter为提供我们一个窗口:观察MapReduce job运行期的各种细节数据。今年三月份期间,我曾经专注于MapReduce性能调优工作,是否优化的绝大多评估都是基于这些Counter的数值表现。MapReduce自带了许多默认Counter,可能有些朋友对它们有些疑问,现在我分析下这些默认Counter的含义,方便大家观察job结果。 我的分析是基于H
2014-07-10 18:56:40 604
转载 hadoop计数器(一)
转自:http://yjplxq.blog.51cto.com/4081353/1330128org.apache.hadoop.mapreduce.FileSystemCounter FILE_BYTES_READFILE_BYTES_WRITTENFILE_READ_OPSFILE_LARGE_READ_OPSFILE_WRITE_OPSHDFS_B
2014-07-10 18:48:18 989
转载 hive小文件合并
转自:http://blog.csdn.net/yfkiss/article/details/8590486当Hive输入由很多个小文件组成,由于每个小文件都会启动一个map任务,如果文件过小,以至于map任务启动和初始化的时间大于逻辑处理的时间,会造成资源浪费,甚至OOM。为此,当我们启动一个任务,发现输入数据量小但任务数量多时,需要注意在Map前端进行输入合并当然,在我们向一个
2014-07-10 16:22:19 620
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人