hbase导入数据同时与phoenix实现映射同步

 我们的目标是：创建一个hbase表格，能够通过phoenix进行访问；同时能够导入本地数据到hbase中，最后都能够通过phoenix进行访问。

1、先在hbase中创建表格

create 'WHO_GOODS_LABEL','GID','INFO'

2、然后在phoenix中建立相同的表名以实现与hbase表的映射

create table if not exists WHO_GOODS_LABEL(GOODS_ID varchar primary key, INFO.ISWHITE varchar, INFO.DATA_DATE varchar );

注意：

（1）两个表名相同

（2）phoenix的主键名称不需要和hbase中的相同，两边通过表格的内置结构可以自动关联起来，因为表格可以自动识别到主键

（3）phoenix中的column必须以hbase的columnFamily开头，如上所示

 

通过上面两步已经创建了一个hbase和phoenix同步的表格WHO_GOODS_LABEL，在hbase中执行如下操作，phoenix中可以查看到数据

put 'WHO_GOODS_LABEL', '11', 'INFO:ISWHITE','1'

接下来我们需要把本地的文件存放到hbase中，大致流程是：

本地文件 上传到hdfs中，hdfs生成hfile文件，将hfile文件导入hbase中，具体操作如下步骤

 

3、本地文件上传到hdfs

本地文件who_goods_label_new.csv样例如下，通过逗号进行分割的。

11,1,2017-03-02

然后把文件上传到hdfs上，命令如下:

hadoop fs -put who_goods_label_new.csv /tmp/who_goods_label_new.csv

 

4、hdfs数据导入到hbase中，执行下面两条命令

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=HBASE_ROW_KEY,INFO:ISWHITE,INFO:DATA_DATE -Dimporttsv.separator=, -Dimporttsv.bulk.output=/tmp/who_goods_label_output WHO_GOODS_LABEL /tmp/who_goods_label_new.csv

 

hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /tmp/who_goods_label_output WHO_GOODS_LABEL

注意：第一条命令中需要通过importtsv.separator指定分隔符，否则默认的tsv文件默认的分隔符是tab键。

 

 

 

http://blog.sina.com.cn/s/blog_628cc2b70102x5lq.html