【个人笔记 hive】hive里面的说SerDe含义

官网中这样介绍serde:https://cwiki.apache.org/confluence/display/Hive/SerDe
SerDe Overview
SerDe is short for Serializer/Deserializer. Hive uses the SerDe interface for IO. The interface handles both serialization and deserialization and also interpreting the results of serialization as individual fields for processing.
A SerDe allows Hive to read in data from a table, and write it back out to HDFS in any custom format. Anyone can write their own SerDe for their own data formats.
翻译为:
SerDe是Serializer/Deserializer的缩写。Hive使用SerDe接口进行IO。该接口同时处理序列化和反序列化,并将序列化结果解释为单独的字段进行处理。
SerDe允许Hive从表中读入数据,并以任何自定义格式将数据写回HDFS。任何人都可以为自己的数据格式编写自己的SerDe。

What is a SerDe?
SerDe is a short name for “Serializer and Deserializer.”
Hive uses SerDe (and FileFormat) to read and write table rows.
HDFS files --> InputFileFormat --> <key, value> --> Deserializer --> Row object
Row object --> Serializer --> <key, value> --> OutputFileFormat --> HDFS files
SerDe是什么?
SerDe是“序列化器和反序列化器”的简称。
Hive使用SerDe(和FileFormat)来读写表行。
HDFS文件——> InputFileFormat——> <key, value>——> Deserializer——>行对象
行对象——> Serializer——> <key, value>——> OutputFileFormat——> HDFS文件

  • 在我们平时的建表语句中,就其实有我们的serde。有的直接显示的指明何种serde,有的缩写了。
  • 比如:
    STORED AS ORC 。其实这个就是缩写了。隐式的说明这是一个serde。根据官网,以上和下面这个相同的意思。
ROW FORMAT SERDE
  'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
  STORED AS INPUTFORMAT
  'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'
  OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'

在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值