hive学习笔记10

最新推荐文章于 2023-03-07 23:33:00 发布
最新推荐文章于 2023-03-07 23:33:00 发布
阅读量723 收藏 1
点赞数 3
分类专栏： NLP与推荐算法 文章标签： hive sql hive-sql split json
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SPESEG/article/details/114638156
版权
本文介绍了如何利用Hive-SQL的split和get_json_object函数进行字符串分割和处理JSON数据，从而避免Python预处理，提高效率。详细探讨了处理列表和字典键值对的方法，并分享了相关博客链接以供参考。
摘要由CSDN通过智能技术生成

HIA各位好，之前写的很简单的SQL语句，然后就要py预处理，这很Low，也很费时间，这里必须面对这些问题。因此要采用hive-sql的处理方法，直接读取后就是结果，无需再次预处理，节省时间。

For Recommendation in Deep learning QQ Group 102948747

For Visual in deep learning QQ Group 629530787

I'm here waiting for you

不接受CSDN网页的私聊/私信！！！
 

1-分割字符串

split即可，这个与python的同名函数是一样的效果，不知道为NULL时是什么效果，应该为NULL/空

2-字典中的键值对（取key或value）

get_json_object即可完美解决问题，可能需要美元符号&

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hive提取JSON字符串内的指定字段名的值
giantleech的博客
05-27 2867
hive提取json字符串内的指定value值方法 如上图所示test表内，info列的值为一个json字符串，利用什么方法可以直接 取出其中time 的值。 除 自定义UDF函数外，这里提供两种简单的方法。 get_json_object get_json_object 函数可以按照JSON字符串内的字段名取值： select get_json_object(info,'$.time') from test json_tuple 可以达到相同的功能，区别在于 get_json_object 一次只能去
字典数据抽取
我的祖传代码
05-16 1418
# coding=utf-8 _author_ = 'liuzc' # 导包 from sklearn.feature_extraction import DictVectorizer def dictvec(): """ 字典数据抽取 """ # 实例化 sparse=False 取消稀疏矩阵 dict = DictVectorizer(sparse...
hive中get_json_object获取多个字典中同一个key的value
sinat_18558057的博客
07-28 1433
获取多个字典中同一个key的value
hive中get_json_object函数
weixin_72871448的博客
12-21 6096
hive中get_json_object函数
HIVE 元数据 信息 sql查询 生成数据字典
一只程序猿的博客
03-26 685
SELECT a. NAME as SCHEMA_NAME,-- 数据库名称 t.TBL_NAME as TABLE_NAME,-- 表名 b.PARAM_VALUE as TABLE_COMMENT,-- 表注释 e.INTEGER_IDX as COLUMN_ID,-- 字段序号 e.COLUMN_NAME ,-- 字段名 e.TYPE_NAME as COLUMN_DATA_TYPE,-- 字段类型 f.PART_KEYS as PART_COL...
hive学习笔记
01-10
自己在大数据培训班学习整理的笔记，比较详细，适合新手学习，我感觉还是挺有帮助的，希望可以帮助到你
hive学习笔记精华版
10-08
【Hive学习笔记精华版】 Hive是大数据处理领域中的一款重要工具，它基于Hadoop构建，主要用于数据仓库和数据分析。作为一个离线处理系统，Hive可以将结构化的数据文件映射成数据库表，允许用户使用类似SQL的查询...
尚硅谷大数据技术hive学习笔记
最新发布
10-27
"尚硅谷大数据技术hive学习笔记" Hive 是一个基于 Hadoop 的数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 Hive 的核心是将 HQL 转化成 MapReduce 程序，通过 SQL 语言中常用的操作...
hive复杂类型数据详解—array,map,struct
热门推荐
weixin_40474941的博客
03-03 2万+
hive复杂数据类型有三种，map，array，struct。本文会详细介绍三种类型数据的建表、查询、相关函数以及与其他数据类型的相互转换。 目录一、简介二、建表语句三、类型构建四、查询array类型map类型struct类型五、与其他数据类型转换将array和map转化为基本数据类型（行转列）基本数据类型转化为array、map（列转行） 一、简介 map 是一种(key-value)键值对类型； array 是一种数组类型，array 中存放相同类型的数据； struct 是一种集合类型。 二、建表语句
【博学谷学习记录】超强总结，用心分享|Hive表基础语法
xz842913787的博客
10-16 896
Hive表基础语法
Hive查询数据字典
weixin_34375233的博客
02-15 3380
2019独角兽企业重金招聘Python工程师标准>>> ...
Hive相关知识
yangmingtia的博客
07-18 559
hive相关知识
hive-sql截取汉字、字母和数字等
橘子的博客
10-11 1万+
在查询字段中截取汉字、字母和数字等代码如下： 1、截取数字 select regexp_extract('$%^&&*!(123hello你好，。.,','([0-9]+)',1); --输出：123 select regexp_replace('$%^&&*!(123hello你好，。.,','[^0-9]',''); --输出：123 2、截取字母 select regexp_extract('$%^&&*!(123hello你好，。.,',.
Doris 基于 Hive 表的全局字典设计与实现
SmartSi
03-07 781
我们在业务上需要OLAP引擎能够⽀持精确去重的预计算，但这个需求本身是不是合理的呢？ 目前线上数据分析会有一些与⾦钱相关的计算，比如某一个业务方要计算他们个人的销售业绩、以及一些广告的点击率等，这些能够转化为金钱的计算需求是要求精确去重的，近似去重是⽐较难以容忍的。
如何在字典中取出键和键所对应的值
Chu_Jin_can的博客
12-10 8270
在做程序时我们很多时候会用到字典类型，但是大多小伙伴会取键所对应的值，但是不知道怎么把键给取出来让自己所使用。 disc = {"学习":14,"python":3,"java":7} #定义一个字典 #获取键所对应的值 print(disc["python"]) #得到的是3 #怎么获取键呢 #键不能一个一个获取 for i in disc: print(i) #拿到的数据就是这些 ...
HiveQL和SparkSQL中的正则
初阳
10-24 5174
hive和spark中的正则
hive如何生成数据字典
LookDreamGo的博客
12-22 3380
一、连接hive元数据库 执行下面sql即可 -- 查看hive里表和字段字典信息 -- 如果是用create table 的方式建的表，这里是查不到的。 -- 建的表必须要有表注释，否则查不出来。 select d.name as db_name -- 数据库名 ,c.tbl_name -- 表名 ,e.param_value as tbl_name_desc -- 表中文注释 ,a.integer_idx as column
hive 读取 map的value
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
04-15 2万+
table1中的c1字段是map类型，内容如下： { "id1": "11111", "id2": "22222", "id3": "33333", "id4": "44444", } select c1['id1'],c1['id2'],c1['id3'],c1['id4'] from table1 limit 1; 结果会把11111,22222,33333,44444作...
生成Hive数据字典
qiulinsama的博客
04-30 2679
生产中Hive的元数据存储在MySQL中，构建数据字典我们可以通过查询元数据表，导出查询结果后生成自己想要的文档。 下面我会一步一步介绍如何生成markdown格式的数据字典文档。 定义SQL 首先废话不多说，贴出我们需要的在MySQL中使用的SQL。 SELECT a. NAME as SCHEMA_NAME,-- 数据库名称 t.TBL_NAME as TABLE_NAME,-- 表名 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小李飞刀李寻欢

您的欣赏将是我奋斗路上的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值