![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
小何才露尖尖角
任何时候,我对世界总有一个主观的先验判断,但是这个判断会随着世界的真实变化而随机修正,我对世界永远保持开放的态度--Thomas Bayes
展开
-
pyspark catalog介绍
catalog 是一个管理 Spark 元数据信息的接口,可以管理库、内部或外部表、函数、表列及临时视图原创 2023-08-02 10:39:36 · 240 阅读 · 0 评论 -
pyspark 判断 Hive 表是否存在
【代码】pyspark 判断 Hive 表是否存在。原创 2023-07-31 16:49:02 · 1545 阅读 · 0 评论 -
pyspark null类型 在 json.dumps(null) 之后,会变为字符串‘null‘
在将 hive 数仓数据写入 MySQL 时候,有时我们需将数据转为 json 字符串,然后再存入 MySQL。但 hive 数仓中的 null 类型遇到 json 函数之后会变为 'null' 字符串,这时我们只需在使用 json 函数之前对值进行判断即可,当值为 null 时,直接返回 null, 当值非null 时,则使用 json 函数原创 2023-04-06 11:16:35 · 397 阅读 · 0 评论 -
hive:表数据从一台机器导入到另一台机器的 hive 中
hive:从一台机器上的表数据导入到另一台机器的hive中原创 2023-03-21 20:55:03 · 633 阅读 · 0 评论 -
Hive数据倾斜与解决方案
Hive中数据倾斜概念、原因和解决方法转载 2022-10-10 21:04:35 · 152 阅读 · 0 评论 -
Hive更改字段类型的正确姿势
Hive 更改表字段,当无数据时直接使用 alert 方式更改表信息。当表中已有数据时,先复制表再重新插入数据原创 2022-09-13 16:21:44 · 4460 阅读 · 0 评论 -
hive、impala求中位数
hive求中位数:select percentile(cast(p as int),0.5) from student2;impala求中位数:select APPX_MEDIAN(error_uv_all) from xxx;转载 2022-05-19 12:46:04 · 1134 阅读 · 0 评论 -
Hive命令行导出数据
导出命令:hive -e " select concat_ws(’,’,nvl(name,’’),nvl(phone,’’),nvl(id,’’),org) as dt from souche">souche1.csv编码转换:linux 系统显示utf8 window gbkiconv -f UTF-8 -c -t GBK souche1.csv > souche2.csv如果使用 XShell 则使用 sz souche1.csv 导到本机即可转载于:https://blog.5转载 2022-03-09 15:52:54 · 189 阅读 · 0 评论 -
Hive 中关于时间的函数
Hive 中关于时间函数的使用,包括 from_unixtime, unix_timestamp,以及一些常见应用,比如:'yyyyMMdd' 转为 'yyyy-MM-dd'、求某周第一天日期原创 2022-01-08 21:31:57 · 1336 阅读 · 0 评论 -
Hive 计算 yyyyMMdd 之间的时间差
hive 中有一个自带函数 datediff 计算日期差,接受时间类型为 yyyy-MM-dd可以查看 datediff 用法 desc function extended datediff;首先需要将 yyyyMMdd 转为 yyyy-MM-dd,from_unixtime(unix_timestamp(ymd,'yyyyMMdd'),'yyyy-MM-dd')再使用函数计算日期差datediff(from_unixtime(unix_timestamp(end_ymd,'yyyyMM原创 2021-07-02 17:37:21 · 2629 阅读 · 2 评论 -
Hive常见用法:get_json_object,case...when
1 hive// hive-- 删除表DROP TABLE [IF EXISTS] table_name; 1.1 get_json_object(string json_string, string path) 用法// json 格式数据data ={ "store": { "fruit":[{"weight":8,"type":"apple"}, {"weight":9,"type":"pear"}], "bicycle":原创 2021-01-26 15:34:36 · 651 阅读 · 0 评论