Hive 创建和生成Rcfile 和SequenceFile格式的表

 

rcfile格式表需要从原始的textfile 文件格式表导出数据并导入到新建好的rcfile格式表里

 

转: HIVE RCFile高效存储结构

 

创建rcfile 格式的表：

CREATE TABLE fc_rc_test (
  datatime string,
  section string,
  domain string,
  province string,
  city string,
  idc string,
  ext string,
  ip string,
  file_size string,  
  down_sudo string)
STORED AS  RCFILE ;


因rcfile 和SequenceFile 格式的表的数据必须要从textfile 文件格式表通过 insert 操作才能完成。
故先要创建textfile 的表。

可以采用外部表的形式导入数据:

CREATE TABLE fc_rc_ext (
  datatime string,
  section string,
  domain string,
  province string,
  city string,
  idc string,
  ext string,
  ip string,
  file_size string,  
  down_sudo string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
STORED AS textfile
LOCATION '/user/hive/warehouse/log/fc';

导入rcfile 格式的数据：

insert overwrite table fc_rc_test select * from fc_rc_ext ;

转载于:https://www.cnblogs.com/dongxiao-yang/p/4627288.html