Hive基本介绍(2)

本文介绍了Hive的数据格式,包括列分隔符、行分隔符和默认的TextFile、SequenceFile、RCFile、ParquetFile等格式。重点讨论了Hive元数据如DB、Table、Partition的概念,以及Hive的访问方式,如通过Hiveserver2和Beeline。此外,还详述了Hive数据表的操作,包括内部表与外部表的创建、区别以及增删改查。总结Hive适合批量数据统计分析,不适合在线查询。
摘要由CSDN通过智能技术生成

数据格式:

Hive中没有定义专门的数据格式

数据格式部分自定义:

  • 列分隔符(通常为空格、”\t”、”\x001″)
  • 行分隔符(”\n”)
  • 读取文件数据的方法(Hive 中默认有三个文件格式 TextFile,SequenceFile 以及 RCFile)。
  • Hive在加载数据的过程就是拷贝数据的过程,不需要特定的转化。不会对数据本身进行任何修改,甚至不会对数据进行扫描。
  • Hive 中不支持对数据的改写和添加(对文本内数据的添加)
  • Hive 在加载数据的过程中不会对数据中的某些 Key 建立索引。所以Hive不适合在线数据查询(要求相应速度快)

总结:hive具有sql数据库的外表,但应用场景完全不同,hive只适合用来做批量数据统计分析。

hive支持的数据格式

  • 可支持Text,
  • SequenceFile,
  • ParquetFile,
  • ORC格式
  • RCFILE等

Hive元数据

  • DB、数据库
  • Table,内部表
  • External Table,外部表
  • Partition,分区
  • Bucket,分桶
  • <
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值