HIVE
文章平均质量分 81
仙女的崽儿
这个作者很懒,什么都没留下…
展开
-
将json格式的数据文件存入hive中的方法
如果数据格式是Json格式,如果按照常规的思路我们要使用自定义函数去解析, 那么在这里使用JSonSerde就可以直接读取Json格式的文件,不需要做转化。如果是第三方jar包或者是自己写的,就必须要先加载jar包:hive> add jar /hivedata/json-serde-1.3.8-jar-with-dependencies.jar;(后面的是jar包所在的路径)简单案例演示:#数据内容:{"pid":1,"content":"this is pid of 1 content"原创 2021-05-06 19:12:47 · 2022 阅读 · 0 评论 -
Hive的hql总结(后期会添加)
一、对于hive中json格式字符串的解析1、get_json_object函数的作用:用来解析json字符串的一个字段:格式get_json_object(json_txt, path): 从一个JSON字符串中取出指定路径对应的数据!说明:第一个参数填写json对象变量,第二个参数使用$表示json变量标识,然后用 . 或 [] 读取对象或数组;如果输入的json字符串无效,那么返回NULL。每次只能返回一个数据项。$: 代表根对象. : 获取子元素的操作符[] : 获取一个数组中子元素原创 2021-05-19 22:23:57 · 330 阅读 · 0 评论 -
Hive的进阶(表的查询)
一、查询语句基本语法1.1SQL查询语句的基本结构select selection_list # 查询的列 from table # 要查询的表join on # 连接的表 where # 查询条件 group by # 分组查询 having # 分组条件过滤 order by # 字段排序 sort by # 结果排序limit # 限制结果数 union/union all # 合并表1.2SQL语句的执行顺序fromon joinwheregroup by ha原创 2021-04-28 20:31:42 · 2325 阅读 · 0 评论 -
Hive进阶(1)重点
一、Hive的复杂数据类型前面已经讲过基本数据类型,以下是复杂基本类型复杂类型分为三种,分别是 数组array,键值对map,和结构体structarray : col array<基本类型> ,下标从0开始,越界不报错,以NULL代替 map : column map<string,string> struct: col struct 1231.1array示例-- 数据如下: 注意下面列之间是通过TAB来分隔的 zhangsan 78,89,92,96 li原创 2021-04-28 22:10:58 · 177 阅读 · 0 评论 -
Hive进阶之自定义函数学习
自定义函数1 自定义函数的简介1.1自定义函数来历hive的内置函数满足不了所有的业务需求‘hive提供很多的模板可以自定义功能,比如:自定义函数、serde、输入输出格式等。1.2 自定义函数分类UDF:用户自定义函数,user defined function。一对一的输入输出。(最常用的)。UDTF:用户自定义表生成函数。user defined table-generate function,一对多的输入输出。lateral view explodeUDAF:用户自定义聚合函数原创 2021-05-06 22:26:32 · 235 阅读 · 0 评论