大数据之Hive
文章平均质量分 57
记录Hive的基本概念和使用方法
有语忆语
顶呱呱
展开
-
Phoenix基本使用
Phoenix基本使用原创 2024-01-09 10:30:50 · 1529 阅读 · 0 评论 -
hive映射es表任务失败,无错误日志一直报Task Transitioned from NEW to SCHEDULED
hive映射es表任务失败,无错误日志一直报Task Transitioned from NEW to SCHEDULED原创 2023-12-07 17:19:13 · 506 阅读 · 0 评论 -
查看Hive表信息及占用空间的方法
查看Hive表信息及占用空间的方法原创 2023-11-30 16:30:29 · 1277 阅读 · 0 评论 -
Hive:从HDFS回收站恢复被删的表
Hive:从HDFS回收站恢复被删的表原创 2023-11-30 16:23:26 · 500 阅读 · 0 评论 -
hive创建ES外部表过程中的问题
其意思也就是通过公网 ,我访问云上或者一些限制性网络上的ES实例时,如AWS,通过声明该配置就会禁用发现其它节点的行为,后续的读和写都只会通过这个指定的节点进行操作,增加了该属性就可以访问云上或者受限制网络中的ES,但是也因为读写都是通过这个节点,因而性能上会受到比较大的影响。需要加载与正在使用的ES版本相同的版本号的:elasticsearch-hadoop-7.6.1.jar。在建表语句中需要指定属性:‘es.nodes.wan.only’=‘true’,二、缺少jar包:eshadoop。原创 2023-11-30 11:19:24 · 475 阅读 · 0 评论 -
hive两张表实现like模糊匹配关联
hive实现like两张表模糊匹配原创 2023-11-28 15:07:39 · 1223 阅读 · 1 评论 -
Hive Lateral View explode列为空时导致数据异常丢失
Hive Lateral View explode列为空时导致数据异常丢失原创 2023-11-17 15:11:08 · 926 阅读 · 0 评论 -
Hive开窗函数根据特定条件取上一条最接近时间的数据(根据条件取窗口函数的值)
针对于就诊业务,一次就诊,多个处方,处方结算时间可能不一致,然后会有多个AI助手推荐用药,会多有多条推荐日志,且推荐日志时间和处方结算时间不一致,日志仅能关联到就诊级别的粒度,需要找到处方结算前一条的推荐记录,因此针对一次就诊开窗函数,只能开一个时间窗口,但是有可能有两个处方,所以需要找到两个处方前一条推荐。所以需要根据hive的窗口函数再加条件,实现一个窗口,筛选两条数据出来。原创 2023-11-14 15:43:37 · 727 阅读 · 0 评论 -
hive的复杂json数组对象中包含的数组对象扁平化解析
使用lateral VIEW posexplode 解析hive的复杂json数组对象中包含的数组对象扁平化。原创 2023-11-13 09:29:33 · 214 阅读 · 0 评论 -
hive针对带有特殊字符非法json数据解析
hive针对带有特殊字符非法json数据解析原创 2023-10-23 10:09:31 · 894 阅读 · 0 评论 -
【HIve的ES映射表数据同步-org.elasticsearch.hadoop.rest.EsHadoopRemoteException: strict_dynamic_mapping_excep】
报如下错误:org.elasticsearch.hadoop.rest.EsHadoopRemoteException: strict_dynamic_mapping_exception: mapping set to strict, dynamic introduction of [disease_mark] within [_doc] is not allowed。需要在建ES映射表的时候,先在ES建表,或者开启自动添加字段的配置(生产环境一般不允许,除非特殊情况)原创 2023-09-08 15:58:23 · 368 阅读 · 0 评论 -
Hive:cause:java.io.IOException: java.io.EOFException: Unexpected end of input stream
Hive:cause:java.io.IOException: java.io.EOFException: Unexpected end of input stream原因基本上有:空文件不完整的文件gz格式压缩的有问题文件没有正确结束,例如.gz文件数据有问题原创 2023-07-21 11:30:48 · 316 阅读 · 0 评论 -
HIVE获取json字段特定值(单个json或者json数组)
说明:解析json的字符串json_string,可指定多个json数据中的key,返回对应的value。代码:SELECT get_json_object(‘{“NAME”:“张三”,“ID”:“1”}’,‘$.NAME’) as name;SELECT get_json_object(‘{“NAME”:“张三”,“ID”:“1”}’,‘$.NAME’);函数:get_json_object(单个json,‘$.要获取的字段’)语法:json_tuple(json_string, k1, k2 …原创 2023-06-09 17:22:56 · 3354 阅读 · 0 评论 -
Hive:space函数
Hive:space函数原创 2022-07-29 17:42:15 · 1317 阅读 · 0 评论 -
Hive常用命令
Hive常用命令原创 2021-05-08 17:46:22 · 7461 阅读 · 0 评论 -
Hive-sql中的explode()函数和posexplode()函数
explode()仅可以实现一列转行posexplode()可实现多列转行原创 2022-07-29 17:35:46 · 1568 阅读 · 0 评论 -
Hive常用日期函数
Hive常用日期函数原创 2021-05-08 17:47:29 · 1607 阅读 · 0 评论 -
HIve使用Random解决数据倾斜的时候,加随机因子,否则数据会发散
HIve使用Random解决数据倾斜的时候,加随机因子,否则数据会发散原创 2022-06-14 10:12:29 · 1284 阅读 · 0 评论 -
hive中获取连续的日期或者月份
hive中获取连续的日期或者月份原创 2022-07-29 17:48:56 · 2574 阅读 · 1 评论 -
Hive函数
hive常用函数:数学函数、日期函数、条件函数、字符函数、聚合函数、表生成函数、类型转换函数、集合函数原创 2022-09-27 11:04:27 · 1283 阅读 · 0 评论 -
Hive:with as用法、问题和优化
Hive:with as用法、问题和优化原创 2022-08-02 10:05:53 · 7371 阅读 · 0 评论 -
Hive的自定义UDTF(多列输出)
Hive自定义UDTF原创 2022-06-10 17:04:13 · 1173 阅读 · 0 评论 -
HIve任务发生Java heap space
HIve任务发生Java heap space原创 2022-06-14 09:48:12 · 898 阅读 · 0 评论 -
Hive:从HDFS回收站恢复被删的表
Hive:从HDFS回收站恢复被删的表原创 2022-11-14 17:28:24 · 1750 阅读 · 0 评论