Hive基本介绍2
数据格式:
Hive中没有定义专门的数据格式
数据格式部分自定义:
- 列分隔符(通常为空格、”\t”、”\x001″)
- 行分隔符(”\n”)
- 读取文件数据的方法(Hive 中默认有三个文件格式 TextFile,SequenceFile 以及 RCFile)。
- Hive在加载数据的过程就是拷贝数据的过程,不需要特定的转化。不会对数据本身进行任何修改,甚至不会对数据进行扫描。
- Hive 中不支持对数据的改写和添加(对文本内数据的添加)
- Hive 在加载数据的过程中不会对数据中的某些 Key 建立索引。所以Hive不适合在线数据查询(要求相应速度快)
总结:hive具有sql数据库的外表,但应用场景完全不同,hive只适合用来做批量数据统计分析。
hive支持的数据格式
- 可支持Text,
- SequenceFile,
- ParquetFile,
- ORC格式
- RCFILE等
Hive元数据
- DB、数据库
- Table,内部表
- External Table,外部表
- Partition,分区
- Bucket,分桶 <