在大数据平台进行ETL_20170919

基本信息:

ip: 10.145.242.35

内容:1.hbase shell

     2.--hive建表

       use u_it_lxfbdp1;

       set hbase.zookeeper.quorum=ddp-dn-g098,ddp-dn-g099,ddp-dn-g100,ddp-dn-g101,ddp-dn-g102;

       set zookeeper.znode.parent=/hbase;

       ADD jar /usr/lib/hive/lib/hive-hbase-handler-1.1.0-cdh5.8.0.jar;

     3.宽表生成步骤:

       建宽表的hbase表

       建宽表的hive外部

       建关联的基表外部表

       字段匹配

       宽表的数据生成

     4.宽表生成步骤:

       建宽表的hbase表:

--hbase建表
create 'db_oss_osor:wtb_res_spc_facility',
{NAME=>'info',BLOCKSIZE =>'16384',COMPRESSION => 'snappy'}

       建宽表的hive外部:

--hive建表
use u_it_lxfbdp1;
set hbase.zookeeper.quorum=ddp-dn-g098,ddp-dn-g099,ddp-dn-g100,ddp-dn-g101,ddp-dn-g102;
set zookeeper.znode.parent=/hbase;
ADD jar /usr/lib/hive/lib/hive-hbase-handler-1.1.0-cdh5.8.0.jar;

       建关联的基表外部表:

       字段匹配:

       宽表的数据生成: