Hive lateral view ,get_json_object,json_tuple 用法

最新推荐文章于 2024-08-04 03:57:17 发布
最新推荐文章于 2024-08-04 03:57:17 发布
阅读量1w 收藏 20
点赞数 7
分类专栏： Hive Spark Hadoop MapReduce 文章标签： Hive  ateral view get_json_object json_tuple  用法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010002184/article/details/89639422
版权
本文介绍了Hive中解析JSON数据的方法，强调了get_json_object和json_tuple的使用。强调被解析字段必须为string类型，并指出解析map类型时的注意事项。同时，解释了lateral view在查询中的作用，当配合列名使用时，需将查询结果包含在select中，而使用select *会自动追加解析出的字段。
摘要由CSDN通过智能技术生成

要确保被解析的字段是string类型才可以使用json解析.解析map类型不能使用json解析，解析map类型可以使用col_name['key']获取对应key的value.

【Hive】解析json（get_json_object） https://blog.csdn.net/qq_34105362/article/details/80454697

lateral view：如果指定字段名则需要把lateral view查询出的列写到select中，才能在结果中出现；如果直接是select * 则自动会把lateral view查询出的列追加在后面。

select   *  from sales_info where dt = '2019-04-26'

----------------------------


                

        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  二十六画生的博客
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
Hive lateral view和get_json_object,json_tuple 用法

				
			

			

				

					击水三千里的专栏
				

				

					09-02
					
					777
					
				

			

		

		

			
				
Hive lateral view ,get_json_object,json_tuple 用法

			
		

	



                

              
                



	

		

			

				
					
HIVE：使用get_json_object解析json对象遇到的坑

				
			

			

				

					ALX3li的博客
				

				

					07-20
					
					443
					
				

			

		

		

			
				
或[‘’]：表示子节点。MaxCompute支持用这两种字符解析JSON对象，当JSON的Key本身包含.时，可以用[‘’]来替代。获取key1的对象为嵌套对象，可以使用.或[]获取，但是如果key包含.，则需要使用[]获取。[]：[number]表示数组下标，从0开始。

			
		

	



                


  
              

                


	

		

			

				
					
【hive】HiveSQL中两个json解析函数的使用&json路径定位小工具

					
最新发布

				
			

			

				

					atwdy的博客
				

				

					08-04
					
					1318
					
				

			

		

		

			
				
虽然逻辑上理解并不矛盾，尽管该UDTF返回的是个表，但一行输入只会对应一行输出，只是输出的字段可能是多个，并不像explode那样返回的是多行。和get_json_object不同的是，get_json_object是一个普通的UDF函数，返回的是一个值。，该函数适用于对传入的json对象一次性解析多个key的场景，如果用get_json_object需要解析多次，该函数只需要解析一次。（通配符个人认为适用的场景为取同一层级所有对象的某个属性时，如果是取所有对象本身，那么直接不加。

			
		

	





	

		

			

				
					
hive解析json_hive json解析函数(1)

				
			

			

				

					2401_84182073的博客
				

				

					04-11
					
					822
					
				

			

		

		

			
				
发知识点，真正体系化！**

			
		

	



		

			
		



	

		

			

				
					
【数据库】HIVE SQL高效的字符串解析函数（lateral view、json_tuple）

				
			

			

				

					J小白的博客
				

				

					05-25
					
					6948
					
				

			

		

		

			
				
用户行为的数据每天都是上亿的，那么如何高效将行为数据一个个解析出一目了然的字段呢？

在小白最初工作时，用的就是最基础的get_json_object函数，没话说，真的好用，也好学习，将string类型中的数据一个对应一个的解析出来。

话不多说，来个案例：

{"otherlistcount":"0|0|0|0","regiontype":"5","regionid":"0"}将这个...

			
		

	





	

		

			

				
					
hive sql 中lateral view explode/json_tuple的使用

					
热门推荐

				
			

			

				

					yuanyangsdo的博客
				

				

					03-10
					
					1万+
					
				

			

		

		

			
				
我有一个表tab1，表有两个字段sub_id, sub_sku_info，表中有一条数据如下： 
（注：第二个字段比较长，但这确实是一个字符串，请不要被换行欺骗）：sub_id : 101
sub_sku_info : 
[{"skuId":"1017570","num":"2","price":5.8,"jd_price":23.9,"sale_price":5.8},{"skuId":"1329

			
		

	





	

		

			

				
					
hive 的函数 lateral view 用法详解

				
			

			

				

					douluo998的博客
				

				

					04-11
					
					1916
					
				

			

		

		

			
				
hive函数 lateral view 主要功能是将原本汇总在一条（行）的数据拆分成多条（行）成虚拟表，再与原表进行笛卡尔积，从而得到明细表。配合UDTF函数使用，一般情况下经常与explode函数搭配，explode的操作对象（列值）是 ARRAY 或者 MAP ,可以通过 split 函数将 String 类型的列值转成 ARRAY 来处理。lateral view explode(split(col,'分隔符')) tmp_table as tmp_col。

			
		

	





	

		

			

				
					
lateral view json_tuple函数解析非结构化的json数据类型

				
			

			

				

					Toby的博客
				

				

					03-31
					
					6058
					
				

			

		

		

			
				
一、lateral VIEW json_tuple函数使用

工作中遇到一个数据表的存储形式，如下：

id
			col1
			col2
		1234
			{"part1" : "61", "total" : "623", "part2" : "560", "part3" : "1", "part4" : "1"}
			{"to_part2" : "0", "to_part4" : "0", "to_up" : "0", "to_part3" : "0", "to_part34" : "0"}
		

			
		

	





	

		

			

				
					
Hive中json 字符串解析之 get_json_object 与 json_tuple

				
			

			

				

					击水三千里的专栏
				

				

					04-18
					
					8227
					
				

			

		

		

			
				
hive 中 json 字符串解析

			
		

	





	

		

			

				
					
hive：函数：get_json_object和json_tuple 操作json数据（hive加载json数据和解析json）

				
			

			

				

					不花的花和尚的博客
				

				

					06-25
					
					7505
					
				

			

		

		

			
				
业务情景一：

hive加载json数据到表中：

linux本地创建文件people.json

数据为：


{"name":"Michael"}

{"name":"Andy", "age":30}

{"name":"Justin", "age":19}



创建表：


CREATE TABLE
    ods.spark_people_json
    (
        `nam...

			
		

	





	

		

			

				
					
【数据库】HIVE SQL之lateral view json_tuple和lateral view explode联合使用

				
			

			

				

					J小白的博客
				

				

					07-20
					
					4099
					
				

			

		

		

			
				
在工作中，处理数据时遇到的情况是多种多样的，这次就遇到一种相对有一丢丢复杂的情况，案例如下：

String类型的字段，案例如下：

[{"key":"upload-screenshot","value":false},{"key":"choice","value":"已解决"}]

 现在需要把key和value解析出来。乍一看，直接用get_json_obj...

			
		

	





	

		

			

				
					
hive表生成函数explode、stack、lateral view和json_tuple、parse_url_tuple示例

				
			

			

				

					helloxiaozhe的博客
				

				

					11-08
					
					3123
					
				

			

		

		

			
				
hive表生成函数explode、stack、lateral view和json_tuple、parse_url_tuple示例

			
		

	





	

		

			

				
					
HIVE中get_json_object与json_tuple使用

				
			

			

				

					不言尘世
				

				

					05-29
					
					416
					
				

			

		

		

			
				
HIVE中get_json_object与json_tuple使用
            
            
                
                    
                                        
                                        
                                ...

			
		

	





	

		

			

				
					
hive 解析 jsonArray，且jsonArray数组中的个数未知【json_tuple，lateral view，explode】

				
			

			

				

					ChengYanan的博客
				

				

					09-17
					
					1234
					
				

			

		

		

			
				
例如：
一个JSONArray为：
[{"id":"1","name":"zhangsan"},{"id":"2","name":"lisi"},{"id":"3","name":"wangwu"},...]

用 get_json_object() 处理这种并不是很友好：
我们可以这样：
SELECT explode(split(regexp_replace(
regexp_replace(
 '[{"id":"1","name":"zhangsan"},{"id":"2","name":"lisi"},

			
		

	





	

		

			

				
					
【hive】lateral view的使用

				
			

			

				

					weixin_30345577的博客
				

				

					10-15
					
					531
					
				

			

		

		

			
				
当使用UDTF函数的时候,hive只允许对拆分字段进行访问的

例如:
select id,explode(arry1) from table; —错误
 会报错FAILED: SemanticException 1:40 Only a single expression in the SELECT clause is supported with UDTF's. 

selec...

			
		

	





	

		

			

				
					
Hive侧视图Lateral View--规范化行或解析JSON

				
			

			

				

					小财迷嘻嘻的博客
				

				

					12-10
					
					394
					
				

			

		

		

			
				
1、与表生成函数结合使用，将函数的输入和输出连接
2、OUTER关键字：即使output为空也会生成结果

select name,work_place,loc from employee lateral view outer explode(split(null,',')) a as loc;


3、支持多层级

select name,wps,skill,score from employee 
lateral view explode(work_place) work_place_single a.

			
		

	





	

		

			

				
					
[数据分析][Hive]json_tuple()解析嵌套json

				
			

			

				

					wsjtwmy的博客
				

				

					04-13
					
					2097
					
				

			

		

		

			
				
select temp1.f1,temp1.f2,temp1.f3,temp1.f4,temp2.f5,temp2.f6
from table
lateral view json_tuple(f0,'f1','f2','f3','f4') temp1
as f1,f2,f3,f4
lateral view json_tuple(f4,'f5','f6') temp2
as f5,f6;




			
		

	





	

		

			

				
					
hive解析json

				
			

			

				

					chimchim66的博客
				

				

					04-21
					
					3481
					
				

			

		

		

			
				
说明：lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一行或者多行，lateral view在把结果组合，产生一个支持别名表的虚拟表。我们进行ETL(Extract-Transfer-Load)  过程中,经常会遇到从不同数据源获取的不同格式的数据，其中某些字段就是json格式，里面拼接了很多字段。，今天讲一下如何解析出来相关数据。

			
		

	





	

		

			

				
					
hive里的get_json_object用法

				
			

			

				

					06-02
				

			

		

		

			
				
`get_json_object` 函数可以从一个 JSON 字符串中抽取指定的 JSON 对象或者 JSON 数组元素，并以字符串形式返回。

用法如下：

```sql
get_json_object(json_string, path)
```

其中，`json_string` 表示待处理的 JSON 字符串，`path` 表示需要抽取的 JSON 对象或者 JSON 数组元素的路径。

例如，如果有一个 JSON 字符串：

```json
{
  "name": "张三",
  "age": 20,
  "address": {
    "province": "广东",
    "city": "深圳"
  },
  "hobbies": ["篮球", "游泳"]
}
```

我们可以使用 `get_json_object` 函数来抽取其中的一些元素：

```sql
-- 抽取 name 字段
select get_json_object(json_string, '$.name') as name from table_name;

-- 抽取 address 字段中的 city 字段
select get_json_object(json_string, '$.address.city') as city from table_name;

-- 抽取 hobbies 数组中的第一个元素
select get_json_object(json_string, '$.hobbies[0]') as hobby from table_name;
```

在 `path` 参数中，使用 `$` 表示根节点，`.` 表示访问一个 JSON 对象的属性，`[]` 表示访问一个 JSON 数组元素。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
二十六画生的博客

			
你的鼓励是我创作最大的动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值