a123147abc的博客

hive - 函数使用系列

hive - 乱码

hive sql 性能优化

hive 的string与bigint的比较

hvie - return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source hdfs://XXX to destination hdfs://xxx 原因：执行hive任务的用户对hdfs://xxx没有操作权限 解决：对目录授权 命令：hdfs dfs -chown -R use:group hdfs://xxx ...

hvie merge into 批量更新一、使用条件2、建表要求 一、使用条件 hive2.2.0及之后的版本支持使用merge into 语法，使用源表数据批量目标表的数据。使用该功能还需做如下配置 1、参数配置 set hive.support.concurrency = true; set hive.enforce.bucketing = true; set hive.exec.dynamic.partition.mode = nonstrict; set hive.txn.manager = org

hive Unexpected column vector type LIST 现象描述： 表A 字段名 数据类型 id bigint path array 表B 字段名 数据类型 id bigint name string a_id bigint 表C 字段名 数据类型 id bigint b_id bigint 异常SQL： 报表：Unexpected column vector type LIST select A.id

报错信息：java.util.concurrent.ThreadPoolExecutor$Worker:run:ThreadPoolExecutor.java:624, java.lang.Thread:run:Thread.java:748, *java.lang.RuntimeException:java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.Au

报错信息：ZooKeeper node /hiveserver2 is not ready yet 现象：HIVE METASTORE 服务显示正常，启动 HIVESERVER2 报错 原因：HIVE METASTORE 服务显示正常，但服务无法连接 解决：重启 HIVE METASTORE ， 再重启 HIVESERVER2 即可 ...

might be less than configured maximum allocation=报错：org.apache.tez.dag.api.TezException: org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested resource type=[memory-mb] < 0 or greater than maximum allowed

@[TOC](hive Unable to fetch table/MetaException(message:java.lang.NullPointerException)) 现象：无法 操作表 原因可能如下： 1、hive 元数据有异常 （常见是此种情况） 解决方法： 1、查询对应库下的表 select TBL_ID from yz_dev_hive.TBLS where TBL_NAME ='dwd_fpf_anc_file_info' and DB_ID = (select DB_ID from

Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient hive 服务没有开启

No matching method for class hiveUDF.PhoneTM with string, int, int 原因： 1. 很不显眼的一个小问题，但是却非常严重：函数名应为 evaluate，我少写了一个a 2. 自定义UDF 函数只能在 beeline 连接方式下使用 解决： 1. 更正方法名为 evaluate 2. 在 beeline 连接方式下 3. add jar 'jar包路径' 4. 创建临时函数【当前会话有效】：create temporary functio

HIVESERVER2 服务启动失败 HIVESERVER2 服务启动失败出现的现象： 1、 Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.ql.metadata.HiveException 2、会导致HIVE METASTORE 也失败 原因可能有几方面： 1、10000、9083端口被占用 2、mysql 连接不上 3、hive jar 包有问题 解决 1、排查端口占用情况，若存在端口占用，修改hive-s

hive 表 join 操作，出现一个值匹配到多个不同值 原因：bigint和string比较时会隐式地都转换成double,java中double的精度只有15-16位（double可以精确的表示小于2^52=4503599627370496的数字）。当数字超过精度的时候就会比较不准确，出现你上面描述的现象。 解决方案： 1. 将string 转换为 bigint cast(c as bigint)再进行比较。 2. 将bigint 转换为 stringcast(c as string)再进行比较。

hive full outer join - 出现数据重复 备注： full outer join 只能作用于两个表 问题：full outer join 超过2个表，数据或出现多条重复数据 解决：把要full outer join 的表，使用 UNION ALL 提取连接字段，同时 distinct 去重 且字段不为 null ，再 left join 需要 full outer join 的表 , 即可解决数据重复问题 ...

ERROR : Vertex failed, vertexName=Map 1 解决：在 hive sql 脚本前，加上 set hive.vectorized.execution.enabled=false;

执行脚本，无法输入用户密码，可以设置全局密码1、 执行脚本，无法输入用户密码，可以设置全局密码 1、 执行脚本，无法输入用户密码，可以设置全局密码 # 先设置mysql 密码 为当前环境变量，有时候再脚本内置脚本会使命令执行失败 export MYSQL_PWD=passwd # 批量解锁 mysql 表脚本如下 #!/bin/bash mysql -u root -e "show processlist" >> locked_log.txt for line in `cat locked_