2016年09月_yinyang7008

09月 08月

转载 MySQL SQL优化

优化目标　　1.减少 IO 次数　　IO永远是数据库最容易瓶颈的地方，这是由数据库的职责所决定的，大部分数据库操作中超过90%的时间都是 IO 操作所占用的，减少 IO 次数是 SQL 优化中需要第一优先考虑，当然，也是收效最明显的优化手段。　　2.降低 CPU 计算　　除了 IO 瓶颈之外，SQL优化中需要考虑的就是 CPU 运算量的优化了。order by, g

2016-09-08 14:59:46 311

转载 hive 中 Order by, Sort by ,Dristribute by,Cluster By 的作用和用法

order by order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。 set hive.mapred.mode=nonstrict; (default value / 默认值) set hive.mapred.mode=strict; order b

2016-09-08 09:20:55 316

转载 hive SQL优化之distribute by和sort by

最近在优化hiveSQL，下面是一段排序，分组后取每组第一行记录的SQL INSERT OVERWRITE TABLE t_wa_funnel_distinct_temp PARTITION (pt='${SRCTIME}') SELECT bussiness_id, cookie_id, session_id, funnel_

2016-09-08 09:15:27 606

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人