impala表使用rcfile文件格式
一、在impala中创建rcfile表
create table rcfile_table (column_specs) stored as rcfile;
或者
create table rcfile_table like some_other_table stored as rcfile;
二、在hive中导入数据到rcfile表中
insert into table rcfile_table select * from some_other_table;
三、在impala中刷新rcfile表的数据,使impala识别hive导入的数据
refresh rcfile_table;
四、这样impala表就使用了rcfile文件格式
impala表使用sequencefile文件格式
一、在impala中创建sequencefile表
create table rcfile_table (column_specs) stored as sequencefile;
或者
create table rcfile_table like some_other_table stored as sequencefile;
二、在hive中导入数据到rcfile表中
insert into table rcfile_table select * from some_other_table;
三、在impala中刷新rcfile表的数据,使impala识别hive导入的数据
refresh rcfile_table;
四、这样impala表就使用了sequencefile文件格式
impala表使用parquet文件格式
一、在impala中创建parquet表
create table parquet_table (x string,y string,z string,a double,b double) stored as parquet;
二、在impala中导入数据到parquet表中
insert overwrite select * from pp;
这样impala表就使用了parquet文件
问题:没有找到能在hive或是impala去load data之前,把文本文件直接转换成rcfile文件或parquet文件的方法
一、在impala中创建rcfile表
create table rcfile_table (column_specs) stored as rcfile;
或者
create table rcfile_table like some_other_table stored as rcfile;
二、在hive中导入数据到rcfile表中
insert into table rcfile_table select * from some_other_table;
三、在impala中刷新rcfile表的数据,使impala识别hive导入的数据
refresh rcfile_table;
四、这样impala表就使用了rcfile文件格式
impala表使用sequencefile文件格式
一、在impala中创建sequencefile表
create table rcfile_table (column_specs) stored as sequencefile;
或者
create table rcfile_table like some_other_table stored as sequencefile;
二、在hive中导入数据到rcfile表中
insert into table rcfile_table select * from some_other_table;
三、在impala中刷新rcfile表的数据,使impala识别hive导入的数据
refresh rcfile_table;
四、这样impala表就使用了sequencefile文件格式
impala表使用parquet文件格式
一、在impala中创建parquet表
create table parquet_table (x string,y string,z string,a double,b double) stored as parquet;
二、在impala中导入数据到parquet表中
insert overwrite select * from pp;
这样impala表就使用了parquet文件
问题:没有找到能在hive或是impala去load data之前,把文本文件直接转换成rcfile文件或parquet文件的方法