【hive】hive加载json数据和解析json（二）

最新推荐文章于 2024-07-27 15:05:02 发布
最新推荐文章于 2024-07-27 15:05:02 发布
阅读量3.6k 收藏 9
点赞数
分类专栏： hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lsr40/article/details/103020021
版权

超久超久没写博客了，近来的都是比较杂的临时活，大家都在喊他的活很急，最要紧，挺令我心烦的，不过有活总比没活做好吧！

言归正传，本文讲的是hive解析json格式的数据

 

最近处理了这么一份数据，json格式的，其实我之前写了一篇博客：

 

hive加载json数据和解析json（一）：https://blog.csdn.net/lsr40/article/details/79399166

 

前言：

上一篇博客虽说介绍了两种手段处理json

方法一：通过Serde直接加载json

方法二：通过hive内置的函数从字符串总提取json中的value

不过还是相对着重的介绍了get_json_object()和json_tuple()这两个内置函数，对Serde的使用只是一笔带过，这次我在做json加载的时候采用了第一种方式（serde加载json）

数据格式如下：

{
	"key1": "xxxx",
	"key2": "XXXX",
	"map1": {
		"M-a": "ma",
		"M-b": "mb",
		"M-c": "mc"
	},
	"last": "last1"
}

提出问题：

解释下看到数据后我的想法：

1、是否需要额外添加jar包，如何添加？

2、其他的数据都是string类型，map1字段需要是Map或者Struts类型

3、map1中，M-a，M-b，这种不规整的字段名称，是否可以映射成其他名称，比如变成m_a，m_b这样

4、json数据中没有日期的字段，需要自己生成一个日期字段。

 

解决方法：

问题1的解决：

1、需要添加额外JsonSerde的jar包，可以使用apache有自带的JsonSerde（上一篇文章中有说），也可以使用另一个功能更加强大的JsonSerde（如果json格式比较复杂，推荐使用后者）

http://www.congiu.net/hive-json-serde/1.3.7/cdh5/json-serde-1.3.7-jar-with-dependencies.jar

2、要添加两个地方

第一：本地的hive客户端

在客户端的hive的lib里面添加，让hive启动的时候能够直接加载，或者每次手动执行add jar命令

第二：向集群添加这个jar，放到$HADOOP_HOME/share/hadoop/mapreduce/对应的路径下

可以参考：http://www.voidcn.com/article/p-dewklslz-bhu.html

必须两步都做好，否则会有各种各样的类找不到的报错

例如：

Task with the most failures(4): 
-----
Task ID:
  task_1559639870610_13878_m_000000

URL:
  http://master节点:8088/taskdetails.jsp?jobid=job_1559639870610_13878&tipid=task_1559639870610_13878_m_000000
-----
Diagnostic Messages for this Task:
Error: java.lang.RuntimeException: Error in configuring object
	at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:109)
	at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:75)
	at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
	at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:455)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
	at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1924)
	at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.reflect.InvocationTargetException
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:106)
	... 9 more
Caused by: java.lang.RuntimeException: Error in configuring object
	at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:109)
	at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:75)
	at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
	at org.apache.hadoop.mapred.MapRunner.configure(MapRunner.java:38)
	... 14 more
Caused by: java.lang.reflect.InvocationTargetException
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:106)
	... 17 more
Caused by: java.lang.RuntimeException: Map operator initialization failed
	at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.configure(ExecMapper.java:147)
	... 22 more
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassNotFoundException: Class org.openx.data.jsonserde.JsonSerDe not found
	at org.apache.hadoop.hive.ql.exec.MapOperator.getConvertedOI(MapOperator.java:323)
	at org.apache.hadoop.hive.ql.exec.MapOperator.setChildren(MapOperator.java:333)
	at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.configure(ExecMapper.java:116)
	... 22 more
Caused by: java.lang.ClassNotFoundException: Class org.openx.data.jsonserde.JsonSerDe not found
	at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2255)
	at org.apache.hadoop.hive.ql.plan.PartitionDesc.getDeserializer(PartitionDesc.java:137)
	at org.apache.hadoop.hive.ql.exec.MapOperator.getConvertedOI(MapOperator.java:297)
	... 24 more

 

问题2，3的解决：

问题3只有用推荐的jar包才能解决！

创建表如下：

--先添加刚刚下载到的jar包，然后再创建表
add jar /opt/json-serde-1.3.7-jar-with-dependencies.jar;
create table json_test( 
`key1` string,
`key2` string,
`map1` struct
<
`m_a`:string,
`m_b`:string,
`m_c`:string> ,
`last` string)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
with serdeproperties
(
"mapping.m_a" = "M-a",
"mapping.m_b" = "M-b",
"mapping.m_c" = "M-c"
)
STORED AS TEXTFILE;

--其实map1那个字段大家也可以创建成Map<String,String>使用的时候和Strunct有所区别
--一个是map1[m_a]，一个是map1.m_a

 

问题4的解决：

问题4是一个很麻烦的问题！

我是这么做的，新增了一个pt_days的日期分区字段

add jar /opt/json-serde-1.3.7-jar-with-dependencies.jar;
create table json_test( 
`key1` string,
`key2` string,
`map1` struct
<
`m_a`:string,
`m_b`:string,
`m_c`:string> ,
`last` string)
PARTITIONED BY ( 
 `pt_days` string)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
with serdeproperties
(
"mapping.m_a" = "M-a",
"mapping.m_b" = "M-b",
"mapping.m_c" = "M-c"
)
STORED AS TEXTFILE;

当我如上建表之后

我执行： load data local inpath 'json文件块' into json_test partition (pt_days=20191001);

加载数据正常，但是查询数据的时候直接报空指针的错：

Failed with exception nulljava.lang.NullPointerException

我估计是Serde解析json数据的时候，找不到pt_days字段，所以报错了，因为需求比较急，我也没有太多的时候认真研究如何解决这个报错，因此我取了一个折中的方法。

创建一张格式为orc的有分区的最终表，然后为每一天数据创建一张临时表（表名为：xxxx_数据日期），把当天的数据录到各自的临时表中，录完之后，把该临时表的数据往最终表里去导入（导入完成删除临时表），这时候添加上时间的字段，而且因为数据格式变为orc，既可以节省空间，又可以加快查询！

 

如果大家有更好的方法，欢迎留言~

好，菜鸡一只，干活去了溜了溜了！

 

apache的json解析类和我推荐的那个json解析类具体有什么区别，大家可以百度下，或者看如下的文章：

0659-6.2.0-Hive处理JSON格式数据：https://cloud.tencent.com/developer/article/1451308（作者：Fayson）

 

lsr40
关注
专栏目录
【大数据入门核心技术-Hive】（十六）hive表加载csv格式数据或者json格式数据
07-31 337
三、hive加载CSV格式数据。
hive python udf 解析json格式数据
chenhua_搬砖工程师的博客
06-13 359
hive python udf 解析json 格式数据
Hive load JSON数据类型
857技术社区
10-20 821
用以下文本举例： {"name":"Yin", "address":{"city":"Columbus","state":"Ohio"}} {"name":"Michael", "address":{"city":null, "state":"California"}} hdfs路径为：/user/maokaimin/jsontest/json.json 方法1： 建表 create external table maokaimin.jsontest (jsonObject string) lo
hive存储读取json格式的数据
gongmf的专栏
11-20 1万+
1. c
hive sql解析Json
最新发布
weixin_62736930的博客
07-27 349
使用hive函数的话，就是，这里是标准的jsonpath语法，从头开始，就是开头，逐层嵌套还有函数，不过这种就不是jsonpath语法了，是一个一个的取。
json数据加载到hive
m0_56007525的博客
09-05 1907
将json数据导入到表tmpjson中，可以用load data 也可以直接上传文件到表文件夹。用json函数get_json_object()解析tmpjson表的数据并插入到goods表中，或者用json_tuple。2.要把每一个字段值导入，不能直接导入，需要借助mapreducer，一行一行将对应值写入表。这里用的表数据如下：price，name，shop，comment，p，op，m。注意：如果数据有null，则json数据可能存在空行。首先建立一个临时表，将一行json数据做一个字段。
【Hive】hive加载json数据和解析json（一）
u011250186的博客
06-12 817
本文主要还是介绍hive中函数的解析json的函数get_json_object()和json_tuple()的使用，如果想通过serde直接加载hive数据，请看第二篇！ 【Hive】hive加载json数据和解析json（二）：https://blog.csdn.net/lsr40/article/details/103020021 一、 今天记录一下使用hive怎么加载json格式的数据，对于json格式，就不多做更多说明了，测试的数据是spark的example里面的people.jso.
Apache Hive 加载JSON数据与JSON解析
猫君之上的博客
07-21 466
首先Hive提供了三种方案（应用于不同的场景）： 建表JsonSerDe 内置函数get_json_object 内置函数json_tuple 1.使用JsonSerDe创建表加载JSON文件 注意此种方式需要满足的条件： json文件必须是形如如下格式： 下面 xxx可以是对象，也可以是数组 { key1:xxxx, key2:xx, key3,xxx } 另外...
hive，json格式传送，加载数据
07-09
6. **性能优化**：由于 JSON 数据解析相对较慢，为了提高性能，可以考虑预处理数据，如将 JSON 转换为 Parquet 或 ORC 格式，这两种格式都是 Hive 支持的列式存储格式，能显著提升查询速度。 7. **注意事项**：使用...
hive中json格式数据解析
chenhua_搬砖工程师的博客
06-13 1772
hive中json格式数据解析
hive解析json格式数据所需jar包
05-05
hive解析json时所需jar包。具体使用： add jar ../../../target/json-serde-1.3-jar-with-dependencies.jar; CREATE TABLE json_nested_test ( country string, languages array, religions map<string,array>) ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' STORED AS TEXTFILE; -- data : {"country":"Switzerland","languages":["German","French", -- "Italian"],"religions":{"catholic":[10,20],"protestant":[40,50]}} LOAD DATA LOCAL INPATH 'nesteddata.txt' OVERWRITE INTO TABLE json_nested_test ; select * from json_nested_test; -- result: Switzerland ["German","French","Italian"] {"catholic":[10,20],"protestant":[40,50]} select languages[0] from json_nested_test; -- result: German select religions['catholic'][0] from json_nested_test; -- result: 10 原下载地址：https://github.com/rcongiu/Hive-JSON-Serde
Hive 超赞的解析 Json 数组的函数
Python+大数据+数据分析+自动化+Vue组件开发
06-16 5472
大数据的 ETL(Extract-Transfer-Load) 过程的 Transfer 阶段，需要对 json 串数据进行转换“拍平”处理。亲测！超好用 Hive 内置的 json 解析函数 一文中详细介绍过 get_json_object 和 json_tuple 函数如何对 json 串进行有效解析，但美中不足的是这两个函数都无法解析 json 数组，只能解析单个 json 串。今天的分享将会介绍 Hive 中常用于 json 数组的解析函数及详细使用方法。数据准备例如：Hive中有一张 test_j
hive加载json数据解决方案
weixin_34192732的博客
07-25 147
hive官方并不支持json格式的数据加载，默认支持csv格式文件加载，如何在不依赖外部jar包的情况下实现json数据格式解析，本编博客着重介绍此问题解决方案 首先创建元数据表： create EXTERNAL table access_log (content string) row format delimited fields terminated by '\t' STORED A...
Hive导入json文件
鸭梨的博客
12-26 1060
现有一json文件,需要导入hive,如何操作? 比如json内容如下 {"uid":"1","uname":"gaoyuanyuan","age":"18"} {"uid":"2","uname":"gaojianzheng","age":"42"} 首先建表 drop table json1; create table if not exists json1( uid int, uname string, age int ) row format serde 'org.openx.data.jsons
hive加载json数据
Joseph25的博客
10-25 995
json数据压缩成.gz文件上传到hdfs，通过hive映射，并进行后续的spark跑算法 1，在hdfs上的数据格式化后的形式，根据需求我们只要_source里的数据 { "_index": "operatelog", "_type": "operatelog", "_id": "5938ca71-6057-40b5-a739-5687ae360640", "_source": {...
json格式的数据导入到hive表中
热门推荐
purisuit_knowledge的专栏
09-05 1万+
总体来说，有两大类方法：  1、将json以字符串的方式整个入Hive表，然后使用LATERAL VIEW json_tuple的方法，获取所需要的列名。  2、将json拆成各个字段，入Hive表。这将需要使用第三方的SerDe。 第一种方法的的缺点是不能处理复杂类型（如果hive表中字段为array,map等）。 实战： 1. 创建表 [sql] view
hive加载json格式文件的方法
ghost06211的博客
09-29 2481
前言 很多日志都采用json格式来记录日志,因此hive来读表时候,就需要能解析json格式. 一.下载所需jar包,并且准备测试文件 请到maven的官方仓库去搜索 hive-hcatalog-core ,然后找到自己的hive版本的jar下载下来. 这里假设我们下载下来,并且放到/opt/exlib/hive-hcatalog-core.jar 创建一个文件,放到hdfs任意目录用来测试(假设放在 hdfs下的/tmp/json1/jsontest.txt),文件内容如下: {"a":"tom","b
hive解析json数据
07-03
Hive是一个基于Hadoop的数据仓库工具，用于对结构化和半结构化的大量数据进行管理和分析。当处理JSON数据时，Hive提供了一种方式将JSON转换为Hive表中的列，以便于查询。 解析Hive JSON数据通常涉及到以下步骤： 1. **创建外部表**: 首先，你需要创建一个外部表（EXTERNAL TABLE）并指定其存储位置，同时设置列类型为`STRING`或`VARCHAR`，因为原始JSON通常是字符串形式。 ```sql CREATE EXTERNAL TABLE my_json_table ( json_column STRING ) ROW FORMAT SERDE 'org.apache.hive.contrib.serde2.JsonSerDe' STORED AS TEXTFILE; ``` 这里`JsonSerDe`是Hive自带的一个序列化器，专门用来处理JSON数据。 2. **加载JSON数据**: 使用`LOAD DATA INPATH`命令从JSON文件中加载数据到表中。 ```sql LOAD DATA INPATH '/path/to/your/json/files' INTO TABLE my_json_table; ``` 3. **查询JSON数据**: 在查询阶段，你可以直接使用列名（如`json_column`）来访问JSON字段，但需要使用点符号(`.`)或方括号(`[]`)语法来导航嵌套的键值对。 例如，假设有一个名为`author`的键，你想要获取它的值，可以这样写： ```sql SELECT json_column->>'author' FROM my_json_table; ```
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值