《hive编程指南》阅读笔记摘要（二）

第三章 数据类型和文件格式
hive中的数据类型包括基本数据类型和集合数据类型（array、map、struct），通常，关系型数据库中没有集合数据类型，而是用关系表关联表示集合。
原因在于： hive中将相关数据存储在一起，来减少磁盘寻址操作，提高性能。

基本数据类型都是对java中接口的实现，所以类型的具体行为细节和java中对应的类型完全一致，如string类型实现的就是java中String类型
TIMESTAMP表示UTC时间，可以是整数（距离unix新纪元时间的秒数）；浮点数（距离unix新纪元时间的秒数，小数部分表示纳秒）；字符串（JDBC兼容的java.sql.Timestamp格式，YYYY-MM-DD hh:mm:ss:fffffffff）
如果一个表的表结构中有3列，而实际的数据文件中每行记录有5列，那么在hive中最后两列会被省略掉

CSV：Comma-Separated Values，逗号分隔值
TSV：Tab-Separated Values，制表符分隔值

hive中 默认的行分隔符和字段分隔符
\n         文本文件中每行是一条记录
^A(\001)   用于分隔字段,\001是^A的八进制数
^B(\002)   用于分隔array或struct中的元素，或者作为map中每对key/value之间的分隔符
^C(\003)   用于分隔map中每对key/value中的key和value
在创建表结构时，如果使用默认的分隔符，就不必声明，否则，需要显式地声明
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\001'
COLLECTION ITEMS TERMINATED BY '\002'
MAP KEYS TERMINATED BY '\003'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

写时模式：数据在写入数据库时对模式进行检查，传统数据库都是写时模式；
读时模式：在查询阶段做数据验证，hive使用此模式；
对于hive表结构和文件不匹配的情况，hive会尽量做适配：
    文件中字段数量少于表字段数量，字段值就用null表示
    文件中字段数量多余表字段数量，文件中多余的字段自动截取

    表字段是数值型，文件中字段值有非数值型的字符串，字段值用null表示

--------------------------
微信公众号：IT人成长关注
大数据技术QQ群：485681776