大数据001——数仓搭建相关

一。这里用的是hadoop生态的hive进行存储，首先说hive的表大致分为内部表和外部表，又分为分区表(PARQUET)和桶表。
hive文件存储格式包括以下几类：
1、TEXTFILE
2、SEQUENCEFILE
3、RCFILE
4、ORCFILE(0.11以后出现)
5、PARQUET
总结：相比TEXTFILE和SEQUENCEFILE，RCFILE由于列式存储方式，数据加载时性能消耗较大，但是具有较好的压缩比和查询响应。数据仓库的特点是一次写入、多次读取，因此，整体来看，RCFILE相比其余两种格式具有较明显的优势
注意：创建外部表需要添加 external 字段。而内部表不需要。
hive建表语句（桶表）
 

CREATE EXTERNAL TABLE db.table_name(
field type COMMENT '描述'

)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' stored as TEXTFILE
 LOCATION '文件地址';

hive建表语句（分区表）

CREATE EXTERNAL TABLE db.table_name(
field type COMMENT '描述'

)PARTITIONED BY (dt string COMMENT "时间分区")
stored as PARQUET LOCATION '文件地址';

二。导入导出数据
利用sqoop import/export 
注意：同步时需