hbase数据生成

hive表数据量统计
nation.tbl     25
lineitem.tbl   59986052
customer.tbl   1500000
orders.tbl     15000000
partsupp.tbl   8000000
part.tbl       2000000
region.tbl     5
supplier.tbl   100000

hbase表统计：
awk -F '|' '{print $1"|"$1"|"$2"|"$3"|"$4"|"}' nation.tbl>nation_hbase.tbl
awk -F '|' '{print $1"_"$2"_"$3"|"$1"|"$2"|"$3"|"$4"|"$5"|"$6"|"$7"|"$8"|"$9"|"$10"|"$11"|"$12"|"$13"|"$14"|"$15"|"$16"|"}' lineitem.tbl>lineitem_hbase.tbl
awk -F '|' '{print $1"|"$1"|"$2"|"$3"|"$4"|"$5"|"$6"|"$7"|"$8"|"}' customer.tbl>customer_hbase.tbl
awk -F '|' '{print $1"|"$1"|"$2"|"$3"|"$4"|"$5"|"$6"|"$7"|"$8"|"$9"|"}' orders.tbl>orders_hbase.tbl
awk -F '|' '{print $1"_"$2"|"$1"|"$2"|"$3"|"$4"|"$5"|"}' partsupp.tbl>partsupp_hbase.tbl
awk -F '|' '{print $1"|"$1"|"$2"|"$3"|"$4"|"$5"|"$6"|"$7"|"$8"|"$9"|"}' part.tbl>part_hbase.tbl
awk -F '|' '{print $1"|"$1"|"$2"|"$3"|"}' region.tbl>region_hbase.tbl
awk -F '|' '{print $1"|"$1"|"$2"|"$3"|"$4"|"$5"|"$6"|"$7"|"}' supplier.tbl>supplier_hbase.tbl

hdfs数据导入到hbase
hadoop jar /usr/lib/hbase/lib/hbase-0.94.6.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,f1:R_REGIONKEY,f1:R_NAME,f1:R_COMMENT,f1:empty -Dimporttsv.bulk.output=/user/hfile/region_hfile -Dimporttsv.separator='|' region /user/CS/tpch_hbase/region_hbase.tbl
hadoop jar /usr/lib/hbase/lib/hbase-0.94.6.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,f1:R_REGIONKEY,f1:R_NAME,f1:R_COMMENT -Dimporttsv.bulk.output=/user/hfile/region_hfile -Dimporttsv.separator='|' region /user/CS/tpch_hbase/region.tbl
hadoop jar /usr/lib/hbase/lib/hbase-0.94.6.jar completebulkload /user/hfile/region_hfile region

hadoop fs -rm -r -f -skipTrash /user/hfile/region_hfile
hadoop fs -chmod -R 777 /user/hfile/region_hfile

hadoop jar /usr/lib/hbase/lib/hbase-0.94.6.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,f1:N_NATIONKEY,f1:N_NAME,f1:N_REGIONKEY,f1:N_COMMENT,f1:empty -Dimporttsv.bulk.output=/user/hfile/nation_hfile -Dimporttsv.separator='|' nation /user/CS/tpch_hbase/nation_hbase.tbl
hadoop fs -chmod -R 777 /user/hfile/nation_hfile
hadoop jar /usr/lib/hbase/lib/hbase-0.94.6.jar completebulkload /user/hfile/nation_hfile nation

hadoop jar /usr/lib/hbase/lib/hbase-0.94.6.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,f1:L_ORDERKEY,f1:L_PARTKEY,f1:L_SUPPKEY,f1:L_LINENUMBER,f1:L_QUANTITY,f1:L_EXTENDEDPRICE,f1:L_DISCOUNT,f1:L_TAX,f1:L_RETURNFLAG,f1:L_LINESTATUS,f1:L_SHIPDATE,f1:L_COMMITDATE,f1:L_RECEIPTDATE,f1:L_SHIPINSTRUCT,f1:L_SHIPMODE,f1:L_COMMENT,f1:empty -Dimporttsv.bulk.output=/user/hfile/lineitem_hfile -Dimporttsv.separator='|' lineitem /user/CS/tpch_hbase/lineitem_hbase.tbl
hadoop fs -chmod -R 777 /user/hfile/lineitem_hfile
hadoop jar /usr/lib/hbase/lib/hbase-0.94.6.jar completebulkload /user/hfile/lineitem_hfile lineitem

hadoop jar /usr/lib/hbase/lib/hbase-0.94.6.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,f1:C_CUSTKEY,f1:C_NAME,f1:C_ADDRESS,f1:C_NATIONKEY,f1:C_PHONE,f1:C_ACCTBAL,f1:C_MKTSEGMENT,f1:C_COMMENT,f1:empty -Dimporttsv.bulk.output=/user/hfile/customer_hfile -Dimporttsv.separator='|' customer /user/CS/tpch_hbase/customer_hbase.tbl
hadoop fs -chmod -R 777 /user/hfile/customer_hfile
hadoop jar /usr/lib/hbase/lib/hbase-0.94.6.jar completebulkload /user/hfile/customer_hfile customer

hadoop jar /usr/lib/hbase/lib/hbase-0.94.6.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,f1:O_ORDERKEY,f1:O_CUSTKEY,f1:O_ORDERSTATUS,f1:O_TOTALPRICE,f1:O_ORDERDATE,f1:O_ORDERPRIORITY,f1:O_CLERK,f1:O_SHIPPRIORITY,f1:O_COMMENT,f1:empty -Dimporttsv.bulk.output=/user/hfile/orders_hfile -Dimporttsv.separator='|' orders /user/CS/tpch_hbase/orders_hbase.tbl
hadoop fs -chmod -R 777 /user/hfile/orders_hfile
hadoop jar /usr/lib/hbase/lib/hbase-0.94.6.jar completebulkload /user/hfile/orders_hfile orders

hadoop jar /usr/lib/hbase/lib/hbase-0.94.6.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,f1:PS_PARTKEY,f1:PS_SUPPKEY,f1:PS_AVAILQTY,f1:PS_SUPPLYCOST,f1:PS_COMMENT,f1:empty -Dimporttsv.bulk.output=/user/hfile/partsupp_hfile -Dimporttsv.separator='|' partsupp /user/CS/tpch_hbase/partsupp_hbase.tbl
hadoop fs -chmod -R 777 /user/hfile/partsupp_hfile
hadoop jar /usr/lib/hbase/lib/hbase-0.94.6.jar completebulkload /user/hfile/partsupp_hfile partsupp

hadoop jar /usr/lib/hbase/lib/hbase-0.94.6.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,f1:P_PARTKEY,f1:P_NAME,f1:P_MFGR,f1:P_BRAND,f1:P_TYPE,f1:P_SIZE,f1:P_CONTAINER,f1:P_RETAILPRICE,f1:P_COMMENT,f1:empty -Dimporttsv.bulk.output=/user/hfile/part_hfile -Dimporttsv.separator='|' part /user/CS/tpch_hbase/part_hbase.tbl
hadoop fs -chmod -R 777 /user/hfile/part_hfile
hadoop jar /usr/lib/hbase/lib/hbase-0.94.6.jar completebulkload /user/hfile/part_hfile part

hadoop jar /usr/lib/hbase/lib/hbase-0.94.6.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,f1:S_SUPPKEY,f1:S_NAME,f1:S_ADDRESS,f1:S_NATIONKEY,f1:S_PHONE,f1:S_ACCTBAL,f1:S_COMMENT,f1:empty -Dimporttsv.bulk.output=/user/hfile/supplier_hfile -Dimporttsv.separator='|' supplier /user/CS/tpch_hbase/supplier_hbase.tbl
hadoop fs -chmod -R 777 /user/hfile/supplier_hfile
hadoop jar /usr/lib/hbase/lib/hbase-0.94.6.jar completebulkload /user/hfile/supplier_hfile supplier