-- Hive
Hive笔记
海若[MATRIX]
大数据全栈
展开
-
Hive自定函数UDTF开发 部署 实战
1.什么时候用UDTF你可能会遇到下面这样的json字符串解析{"a":[{},{},{}],"b":{},"c":0, "d":null, "e": "lll",}假如,让你把字段a的数组炸裂成多行,再加一条,去掉数组的第1个元素。想一下,你要如何完成这个需求?此时,如果你使用hive提供的get_json_object或者json_tuple,甚至你再用一些nvl等函数,你发现很难解析出你想要的数据,即便勉强实现,你会发现解析效率很低,原因后面会讲到。2.开发自定义函数UDTF2原创 2022-10-19 18:07:47 · 708 阅读 · 0 评论 -
hive解析json字段
业务中尝尝会遇到解析json字段的情况,毕竟json是大家使用最广泛的对象传递数据结构。解析单个key用GET_JSON_OBJECT()函数,批量解析多个key用json_tuple()函数。原创 2022-10-13 16:57:52 · 997 阅读 · 0 评论 -
Hive sql查询结果显示表头(header)如何配置:只显示列名,不显示表名
1.指令set hive.resultset.use.unique.column.names=false;2.实操演示原创 2021-12-01 16:44:38 · 3858 阅读 · 3 评论 -
Hive SQL中浮点数比较大小:double与float比较大小
1.hive浮点数比较规则hive浮点数比较规则依照java规则,当float和doule进行比较时,会统一转换为double进行比较。float精度不如double高比如同样是0.2float可能会表示成0.200001(实际精度会更高,此处仅说明原理)而double则会表示成0.20000000000001(实际精度会更高,此处仅说明原理)所以0.2f 不等于0.2d2.问题描述0.2f与0.2d进行比较在hive中对float和double类型的0.2进行了比较,说明二者不相..原创 2021-11-30 14:42:05 · 7381 阅读 · 0 评论 -
Hive sql查询结果显示表头(header)
set hive.cli.print.header=true1.设置前2.设置后原创 2021-11-01 17:12:30 · 4941 阅读 · 0 评论 -
HIve SQL 之Union和Union All区别
1.Union 和Union All都是将两个表合并起来2.区别在于Union会去重,Union All不去重原创 2020-07-12 17:13:35 · 1906 阅读 · 0 评论 -
Win10主机DBeaver客户端连接阿里云主机Hive数据库报错:Connection timed out: connect
1.环境阿里云主机hadoop集群:hadoop101 hadoop102 hadoop103hive数据库:hadoop1012.前提hadoop集群正常启动hiveseaver2正常启动hive metastore元数据服务正常启动beeline正常启动hue正常启动3.问题描述启动动DBeaver,创建hive连接jdbc-hive驱动配置连接时报错4.问题分析Connection timed out: connect意思是:连接超时分析:hi..原创 2020-06-21 00:59:07 · 5480 阅读 · 1 评论 -
Hive运行报错:Caused by: com.ctc.wstx.exc.WstxEOFException: Unexpected EOF
1.场景初次运行hive[root@hadoop101 apache-hive-3.1.2-bin]# hive2.报错which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/module/jdk1.8.0_211/bin:/opt/module/hadoop-3.1.3/bin:/opt/module/hadoop-3.1.3/sbin:/opt/module/apache-hive-3.1.2..原创 2020-06-20 00:10:26 · 11780 阅读 · 0 评论 -
Hive SQL查询之null踩坑
数据准备1.hive sql中null是特殊情况,要单独处理SELECT *FROM student stleft join (SELECT sc.s_id, count(*) num1FROM score scgroup by sc.s_id)tmp on st.s_id = tmp.s_idWHERE tmp.num1 != 3 or tmp.num1 is nullorder by st.s_id DESC 查询结果2.不单独处理查询..原创 2020-06-06 04:08:04 · 3785 阅读 · 0 评论 -
Hive SQL 使用不了union all : SemanticException Cartesian products are disabled for safety reasons
报错信息:SQL 错误 [40000] [42000]: Error while compiling statement: FAILED: SemanticException Cartesian products are disabled for safety reasons. If you know what you are doing, please sethive.strict.checks.cartesian.product to false and that hive.mapred.mode原创 2020-05-29 00:32:58 · 1783 阅读 · 2 评论 -
安装phoenix后hive启动失败
1.问题描述:启动hive报错无法启动*Exception in thread "main" java.lang.NoSuchMethodError: com.ibm.icu.impl.ICUBinary.getRequiredData(Ljava/lang/String;)Ljava/nio/ByteBuffer;*2.原因:由于hive和phoebix的jar包冲突导致3.解决方案:删除hive/lib下的icu4j-4.8.1.jar即可,这样就可以了!...原创 2020-05-18 13:37:58 · 343 阅读 · 0 评论 -
DBeaver连接hive2血泪史
1.前提(1)已经安装好DBeaver和hive(2)已经启动Hiveserver2和hadoop2.连接新建连接2.配置连接编辑驱动步骤3坑多请注意:(1)建议不要去在线仓库下载驱动,大概率会失败!!!(2)建议直接使用hive跟目下jdbc中的jar包以添加文件方式加载到驱动列表,如上图所示!!!(3)执意去在线下载,说明客官你网好时间多!!!(4)如果报错:拒绝用户连接,请检查hadoop配置文件core-site.xml是否配置好权限!!!4.测试连原创 2020-05-11 10:48:54 · 3557 阅读 · 2 评论