hive
笔尖的痕
spark、hadoop,数据仓库,实时计算
展开
-
Hive 0.12.0安装指南
1. 前言本文的安装参照了官方的文档:GettingStarted,将Hive 0.12.0安装在Hadoop 2.4.0上。本文将Hive配置成Server模式,并且使用MySQL作为元数据数据库,远程连接MySQL。关于Hadoop 2.4.0的安装,请参见《Hadoop-2.4.0分布式安装手册》一文。2. 约定本文约定Hadoop被安装在/data/hado转载 2014-09-21 14:01:11 · 1181 阅读 · 0 评论 -
hive的Specified key was too long; max key length is 767 bytes问题解决
当在hive中show table 时如果报以下错时 FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were found while auto-creating/validating the datastore for classes. The errors are printed in the转载 2014-10-19 03:15:25 · 1078 阅读 · 0 评论 -
hive性能调优
limit 限制调整-- 因为使用 limit 语句时候,是先执行整个查询语句,然后再返回部分结果的set hive.limit.optimize.enable=true;set hive.limit.row.max.size=10000;set hive.limit.optimize.limit.file=10;2.JOIN 优化。。。转载 2015-04-29 22:03:52 · 1934 阅读 · 0 评论 -
一例 Hive join 优化实战
1、需求2、非等值 join 问题3、优化:reduce side join VS Cartesian product4、改写非等值 join:union all5、优化:map side join6、优化无极限:开启 parallel 和 控制 reduce 个数7、最后的问题:8、关于 hive 中的 笛卡尔集( full Cartesian product )转载 2015-04-30 00:25:58 · 5038 阅读 · 0 评论