hive
Aangelor
这个作者很懒,什么都没留下…
展开
-
元数据metaserver成功启动后,启动hive报错:Error communicating with the metastore
在 /tmp/root/hive.log查看日志显示:txn.CompactionTxnHandler (CompactionTxnHandler.java:findReadyToClean(283)) - Unable to select next element for cleaning, Table ‘hive.COMPACTION_QUEUE’ doesn’t exist解决:注释掉...原创 2019-08-07 18:11:20 · 2403 阅读 · 0 评论 -
Hive创建表时:报错 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Me
Hive创建表时:报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: An exception was thrown while adding/validating c...原创 2019-08-07 18:19:48 · 1445 阅读 · 0 评论 -
Hive元数据库字符集问题,hive drop table卡死不动问题,comment注解以及字段中文乱码问题:
hive的元数据metastore在mysql的数据库,不管是数据库本身,还是里面的表编码都必须是latin1解决hive drop table卡死不动问题,comment注解以及字段中文乱码问题:首先修改my.cnf文件然后重启mysql重启后删除原元数据库,创建新的元数据库修改hive-site.xml文件中为:注意是utf8而不是latin1重启hive进入mysql中hi...原创 2019-08-07 18:23:28 · 451 阅读 · 0 评论 -
解决hive使用sqoop导入大表虚拟内存溢出,OOM,container killed问题:
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask或 running beyond virtual memory limits. Current usage: 398.2 MB of 1 GB physical memory used; 3.9 GB of 2.1 GB...原创 2019-08-07 18:26:13 · 2846 阅读 · 1 评论 -
Hive: launch local task process map join; Exception:OutOfMemoryError: Java heap space
Hive运行任务报错: Starting to launch local task to process map join; maximum memory = 477626368Exception in thread “main” java.lang.OutOfMemoryError: Java heap space解决:关闭本地模式、mapjoin,或调高mapjoin最大内存使用...原创 2019-08-07 18:37:17 · 1004 阅读 · 0 评论 -
使用shell脚本运行hive语句时,报错:syntax error near unexpected token `$'\r''
使用shell脚本运行hive语句时,报错:syntax error near unexpected token `$’\r’’问题:脚本是在Windows环境下编辑的,要转成Unix格式解决:在nodepad++上点击 编辑-文档格式转换-转为Unix格式 在运行,解决...原创 2019-08-07 18:39:35 · 1277 阅读 · 0 评论 -
hiveOrg.Apache.calcite.runtime.CalciteException: Failed to encode '全国' in character set 'ISO-8859-1’
现象: HQL语句中包含中文,执行HQL时报错:Org.Apache.calcite.runtime.CalciteException: Failed to encode ‘全国’ in character set 'ISO-8859-1’原因: Hive从0.14.0开始引入CBO(Cost-Based Optimizer),对HQL查询语句进行性能优化,在Hive 1.1.0之后,默认...原创 2019-08-07 18:41:28 · 1726 阅读 · 0 评论