调优手册
文章平均质量分 81
不吃鱼的cat
喜欢是不可超越的力量
展开
-
hive调优手册
hive调优手册1 Fetch抓取Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more,老版本hive默认是minimal,该属性修改为more以后,在全局查找、字段查找、limit查找等都不走m原创 2021-09-22 23:31:36 · 97 阅读 · 0 评论 -
解决Hadoop小文件问题
解决Hadoop小文件问题1 Hadoop小文件弊端HDFS上每个文件都要在NameNode上创建对应的元数据,这个元数据的大小约为150byte,这样当小文件比较多的时候,就会产生很多的元数据文件,一方面会大量占用NameNode的内存空间,另一方面就是元数据文件过多,使得寻址索引速度变慢。小文件过多,在进行MR计算时,会生成过多切片,需要启动过多的MapTask。每个MapTask处理的数据量小,导致MapTask的处理时间比启动时间还小,白白消耗资源。2 Hadoop小文件解决方案2.1 数原创 2021-09-12 23:59:02 · 1034 阅读 · 0 评论