hive加载json格式文件的方法

前言

很多日志都采用json格式来记录日志,因此hive来读表时候,就需要能解析json格式.

一.下载所需jar包,并且准备测试文件

请到maven的官方仓库去搜索 hive-hcatalog-core ,然后找到自己的hive版本的jar下载下来.

这里假设我们下载下来,并且放到/opt/exlib/hive-hcatalog-core.jar

创建一个文件,放到hdfs任意目录用来测试(假设放在 hdfs下的/tmp/json1/jsontest.txt),文件内容如下:

{"a":"tom","b":22222}

{"a":"jack","b":33333}

二.创建表的语句

进入hive

首先执行:

add jar /opt/exlib/hive-hcatalog-core.jar;

然后就可以创建表了,语句如下:

CREATE  TABLE  my_table(a string, b  bigint , ...)

ROW FORMAT SERDE  'org.apache.hive.hcatalog.data.JsonSerDe'

LOCATION '/tmp/json1';

然后就可以使用select * from my_table 可以查看到数据了.

三.解决每次进入hive或者spark-sql都要add jar的问题

虽然解决了问题,但是每次输入查询sql之前都要add一次jar,很麻烦.因此必须要解决这个问题,方法如下.

Spark-sql:

在/opt/spark/conf 中 加入如下配置:

 export SPARK_CLASSPATH=$SPARK_CLASSPATH:/opt/exlib/hive-hcatalog-core-1.1.0-cdh5.5.0.jar

然后就可以直接在spark-sql中使用sql查询了.(如果你使用jdbc连接查询,请重启spark/sbin/start-triftserver.sh,否则新增的jar包读不到会报错)

Hive:

在hive-site.xml中加入如下配置

<property>

    <name>hive.aux.jars.path</name>

   <value>file:///opt/exlib/hive-hcatalog-core.jar</value>

</property>

这样就可以了 (未验证,因为直接使用spark-sql了)