sqoop语句
以tid为主键,info为列族
hbae创建表语句
hive创建表语句
遗留问题
sqoop导入数据至hbase时,split-by字段只能是一个,处理不了多字段联合主键的情况。
以tid为主键,info为列族
- sqoop import --connect jdbc:mysql://ip/taobao_db --username hive --password 123456 --table mysql_table_name --hbase-table hbase_table_name --column-family info --split-by tid
sqoop import --connect jdbc:mysql://ip/taobao_db --username hive --password 123456 --table mysql_table_name --hbase-table hbase_table_name --column-family info --split-by tid
hbae创建表语句
- create 'trade','info'
create 'trade','info'
hive创建表语句
- CREATE EXTERNAL TABLE hbase_trade(
- tid string,
- dp_id string,
- created string,
- modified string,
- buyer_cod_fee double,)
- STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
- WITH SERDEPROPERTIES ("hbase.columns.mapping" = "info:dp_id,info:created,info:modified,info:buyer_cod_fee") TBLPROPERTIES("hbase.table.name" = "hbase_table_name");
CREATE EXTERNAL TABLE hbase_trade(
tid string,
dp_id string,
created string,
modified string,
buyer_cod_fee double,)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = "info:dp_id,info:created,info:modified,info:buyer_cod_fee") TBLPROPERTIES("hbase.table.name" = "hbase_table_name");
遗留问题
sqoop导入数据至hbase时,split-by字段只能是一个,处理不了多字段联合主键的情况。