--------【Hive】
文章平均质量分 73
代立冬
StayHungryStayFoolish外功修行内功修神
展开
-
[解决] HiveServer2中使用jdbc访问hbase时导致ZooKeeper连接持续增加的解决
最近在监控中发现HiveServer2连接到zookeeper里的连接持续上涨,很奇怪,虽然知道HiveServer2支持并发连接,使用ZooKeeper来管理Hive表的读写锁,但我们的环境并不需要这些,我们已经关闭并发功能,以下是线上的配置,甚至把这些值都改成final了。但是zookeeper连接依然会涨。后来想想,我们要访问的表是hive去映射的hbase,hivese原创 2016-02-23 15:55:26 · 7145 阅读 · 1 评论 -
Hive性能优化(全面)
Hive性能优化(全面)2018-02-02 Hadoop大数据应用1.介绍首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题?数据量大不是问题,数据倾斜是个问题。jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jobs,耗时很长。原因是map reduce作业初始化的时间是比较长的。sum,count,max,min等UDAF,不转载 2018-02-05 12:06:05 · 1053 阅读 · 0 评论 -
最新Hive函数
LanguageManual UDF原创 2017-11-23 18:35:55 · 1641 阅读 · 0 评论 -
hive Illegal Operation state transition from CLOSED to ERROR的处理
异常堆栈如下:2015-11-24 16:49:11,495 ERROR org.apache.hive.service.cli.operation.Operation: Error running hive query:org.apache.hive.service.cli.HiveSQLException: Illegal Operation state transition from原创 2015-11-24 19:05:39 · 2840 阅读 · 0 评论 -
hive对有特殊值null的数据倾斜处理
hive对有特殊值null的数据倾斜处理原创 2015-10-09 14:23:43 · 2742 阅读 · 0 评论 -
hive executeTask被interrupt处理
java.io.IOException: Failed on local exception: java.nio.channels.ClosedByInterruptException; Host Details : local host is: "hadoop008/192.168.28.77"; destination host is: "hadoop004":8020; at org.a原创 2015-12-20 11:22:56 · 2676 阅读 · 3 评论 -
hive 动态分区(Dynamic Partition)异常处理
Changing Hive Dynamic Partition LimitsSymptoms:Hive enforces limits on the number of dynamic partitions that it creates. The default is 100 dynamic partitions per node, with a total (default)转载 2015-11-17 10:50:40 · 10543 阅读 · 0 评论 -
hive连接数
使用hive分析日志作业很多的时候,需要修改mysql的默认连接数修改方法 打开/etc/my.cnf文件在[mysqld] 中添加 max_connections=1000重启mysql服务 service mysqld restartmysql>show variables like '%max_connections%';查原创 2015-09-26 23:01:11 · 7945 阅读 · 0 评论 -
异常message:There is no database named cloudera_manager_metastore_canary_test_db_hive_hivemetastore
NoSuchObjectException(message:There is no database named cloudera_manager_metastore_canary_test_db_hive_hivemetastore_df61080e04cd7eb36c4336f71b5a8bc4) at org.apache.hadoop.hive.metastore.ObjectStore原创 2015-09-17 10:58:13 · 4672 阅读 · 1 评论 -
Out of memory due to hash maps used in map-side aggregation解决办法
在运行一个group by的sql时,抛出以下错误信息:Task with the most failures(4): -----Task ID: task_201411191723_723592_m_000004URL: http://DDS0204.dratio:50030/taskdetails.jsp?jobid=job_201411191723_723原创 2015-01-28 16:13:57 · 1704 阅读 · 0 评论 -
How to configue session timeout in Hive
This article explains how to configure the following settings in Hive:hive.server2.session.check.intervalhive.server2.idle.operation.timeouthive.server2.idle.session.timeout1). hive.se原创 2016-01-12 23:27:31 · 3206 阅读 · 1 评论 -
Hive实现分组排序或者分页
使用到的语法:ROW_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN)简单的说row_number()从1开始,为每一条分组记录返回一个数字,这里的ROW_NUMBER() OVER (ORDER BY xlh DESC) 是先把xlh列降序,再为降序以后的没条xlh记录返回一个序号。 表示根据COL1分组,在分组内部根据 COL2排序,而此函数...转载 2018-03-27 23:24:42 · 4597 阅读 · 0 评论