- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 hive优化
hive.optimize.cp=true：列裁剪 hive.optimize.prunner：分区裁剪 hive.limit.optimize.enable=true：优化LIMIT n语句 hive.limit.row.max.size=1000000： hive.limit.optimize.limit.file=10：最大文件数 1. 本地模式(小任务)： 需
2013-12-26 12:00:35
547
转载 Hive – Group By 的实现
准备数据 hive> SELECT * FROM logs; a 苹果 5 a 橙子 3 a 苹果 2 b 烧鸡 1 hive> SELECT uid, SUM(COUNT) FROM logs GROUP BY uid; a 10 b 1 计算过程 默认设置了hive.map.aggr=true，所以会在mapper端先group by一次，最后再把结
2013-12-25 14:24:55
1164
原创 hive中的order by+sort by+distribute by+cluster by
order by 它会对输出数据做全局排序，因此在order by 过程中会将所有数据放入一个reduce(如果是多个reduce的话则不能保证order by 后数据是有序的)，当数据量大时，一个reduce的处理压力就成了问题。 当 set hive.mapred.mode=nonstrict (默认值)时，hive会正常处理order by 。 当 set hive.mapred.
2013-12-25 11:39:32
1134
原创 left outer join 的简单总结
表：lhc01 id uid 3 1 2 1 1 1 4 1 1 2 3 2 表：lhc02 id uid 1 2 4 1 2 1 一，基本left outer join select * from lhc01 a left outer
2013-12-10 15:27:57
4644
转载 Mongodb用户和认证 权限总结
mongodb数据库db2shellexceptionuser 开启MongoDB服务时不添加任何参数时,默认是没有权限验证的,登录的用户可以对数据库任意操作而且可以远程访问数据库！ 在刚安装完毕的时候MongoDB都默认有一个admin数据库,此时admin数据库是空的,没有记录权限相关的信息！当admin.system.users一个用户都没有时，即使mongod启动时添加了--a
2013-12-05 16:50:01
714
原创 解决mongodb启动时报locale错误以及linux终端或hive CLI无法输入中文的方法
在安装完mongodb后，进入$MONGODB_HOME/bin 执行mongod启动时报 exception in initAndListen: 14043 clear tmp files caught exception exception: locale::facet::_S_create_c_locale name not valid, terminating 从error信息可
2013-12-02 15:43:13
1567
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人