Hbase 海量数据导入

1、Important用法

命令如下：

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=a,b,c <tablename> <inputdir>

1.1 参数说明

• -Dimporttsv.columns=a,b,c  指定导入到HBase表中的列
• <tablename> 表名
• <inputdir> 数据文件在hdfs上的目录地址
• （直接写目录地址即可，例：/data/data.txt）

1、hbse创建表命令

CREATE 'BDIS:CUSTOMER_100','INFO','OTHER'

2、生成Hfile文件

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=, -Dimporttsv.bulk.output=/opt/module/hbase/data/hfile -Dimporttsv.columns=HBASE_ROW_KEY,INFO:AGE,INFO:NAME,INFO:SEX,OTHER:CREATE_TIME,OTHER:CREATE_USER BDIS:CUSTOMER_INDEX100 /opt/module/hbase.csv

3、导入数据

hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /opt/module/hbase/data/hfile BDIS:CUSTOMER_INDEX100

4、phoenix创建表语句

CREATE TABLE bdis.customer_n100(id varchar primary key,info.age varchar,info.name varchar,info.sex varchar,other.create_time varchar,other.create_user varchar)column_encoded_bytes=0;

5、phoenix创建索引

CREATE INDEX CUSTOMER_INDEX100_NAME_IDX ON BDIS.CUSTOMER_INDEX100 (NAME);