Hive Serde 序列化与反序列化

最新推荐文章于 2024-11-03 15:59:58 发布

星瀚光晨

最新推荐文章于 2024-11-03 15:59:58 发布

阅读量136

点赞数

分类专栏： Hive系列文章标签： hive

本文链接：https://blog.csdn.net/qq_41878423/article/details/120648083

版权

Hive系列专栏收录该内容

14 篇文章 0 订阅

订阅专栏

本文介绍了Hive中用于不同数据格式处理的SerDe，包括使用RegexSerDe处理日志数据，JsonSerDe处理JSON结构，以及OpenCSVSerde处理CSV/TSV格式。示例展示了创建表的语法，以及如何配置各SerDe的属性以适应不同数据格式。

摘要由CSDN通过智能技术生成

Hive Serde 序列化与反序列化

hive Serde官方文档

RegEx 基于正则的匹配

CREATE TABLE apachelog (
  host STRING,
  identity STRING,
  user STRING,
  time STRING,
  request STRING,
  status STRING,
  size STRING,
  referer STRING,
  agent STRING)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
  "input.regex" = "([^]*) ([^]*) ([^]*) (-|\\[^\\]*\\]) ([^ \"]*|\"[^\"]*\") (-|[0-9]*) (-|[0-9]*)(?: ([^ \"]*|\".*\") ([^ \"]*|\".*\"))?"
)
STORED AS TEXTFILE;

JSON数据结构

In some distributions, a reference to hive-hcatalog-core.jar is required.
ADD JAR /usr/lib/hive-hcatalog/lib/hive-hcatalog-core.jar;

从Hive 0.12版本开始
CREATE TABLE my_table(a string, b int)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
STORED AS TEXTFILE;

Hive 3.0.0新的JsonSerDe，原来的JsonSerDe也可以用
CREATE TABLE my_table(a string, b int)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.JsonSerDe'
STORED AS TEXTFILE;

Hive 4.0.0才支持JSONFILE
STORED AS JSONFILE

CSV/TSV格式

-- 所有的字段必须是string类型
CREATE TABLE my_table(a string, b string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
   "separatorChar" = "\t",
   "quoteChar"     = "'",
   "escapeChar"    = "\\"
)  
STORED AS TEXTFILE;