![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 86
秒速五CM
故我
展开
-
hadoop 调优
红色表示有效果 蓝色表示已尝试,当前环境无效果 mapred-site.xml配置文件 mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum 查看cpu核数:cat /proc/cpuinfo |grep "cores"|uniq 8个 map 6 reduce 2 map原创 2014-10-27 14:33:46 · 484 阅读 · 0 评论 -
Hive中Order by, Sort by ,Dristribute by,Cluster By的作用和用法
order by order by 会对输入做全局排序,因此只有一个reducer(多个reducer无法保证全局有序) 只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。 set hive.mapred.mode=nonstrict; (default value / 默认值) set hive.mapred.mode=strict; order by 和数据库中的O转载 2014-11-24 08:16:05 · 410 阅读 · 0 评论