hbase命令 写数据到hbase表

转载 2016年08月30日 18:29:45


一、使用TableOutputformat的Put API上传数据

hbase  org.apache.hadoop.hbase.mapreduce.ImportTsv  -Dimporttsv.separator=$(echo -e '\t') -Dimporttsv.columns=HBASE_ROW_KEY,f1:docket,f1:courtname test /tmp/1/

1、importtsv.columnsmporttsv.separator:/tmp/1/下面文件,每行数据的里面的分隔符
2、importtsv.columns: hbase与 文件数据列的映射,第一列是rowkey,第二列是列族f1的docket列,第三列列族f1的courtname列
3、test:是hbase表名
4、/tmp/1/:导入的文件的路劲


二、使用bulk-loading生成StoreFiles

step1、生成Hfile
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv  -Dimporttsv.columns=HBASE_ROW_KEY,f1:docket,f1:courtname  -Dimporttsv.bulk.output=/tmp/2/ test  /tmp/1/

step2、完成导入
hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles  /tmp/2/ test 


三、hbase大数据量实时写

http://blog.csdn.net/mrtitan/article/details/8660280





相关文章推荐

HBase shell 命令创建表及添加数据操作

创建表,表名hbase_1102,HBase表是由Key-Value组成的,此表中Key为NAME 此表有两个列族,CF1和CF2,其中CF1和CF2下分别有两个列name和gender,Chi...

Hbase 创建表 shell 命令

Hbase 启动

Hbase 建表基本命令总结

访问Hbase,以及操作hbase,命令不用使用分号 hbase shell 进入hbase list 查看表 hbase shell -d hbase(main):024:0> sc...

hbase建表命令

Hbase 建表基本命令总结 访问hbase,以及操作hbase,命令不用使用分号 hbase shell 进入hbase list 查看表 hbase shell -d hbase(m...

mapreduce向hbase写数据

用MR向hbase 写数据,在这里只用mapper不用hbase,避免mapper向reduce传输数据产生的IO网络流,从而提高效率。 第一步:编写代码,打jar包 package com....

HBase 写优化之 BulkLoad 实现数据快速入库

目录[-] 1、为何要 BulkLoad 导入?传统的 HTableOutputFormat 写 HBase 有什么问题?2、bulkload 流程与实践3、说明与注意事项:4、Refer: ...

HBase-1.0读写数据

public class WordCount { public static void main(String[] args) throws IOException { Configuration ...

Spark 批量写数据入HBase

介绍   工作中常常会遇到这种情形,需要将hdfs中的大批量数据导入HBase。本文使用Spark+HBase的方式将RDD中的数据导入HBase中。没有使用官网提供的newAPIHadoopRDD...

HBase写数据过程

【编者按】毋庸置疑,Hadoop已成为当下最流行的大数据处理平台,让机构可以用更低廉的价格对海量数据进行深度挖掘,同时,在YARN出现后,其生态圈也愈加繁荣;然而,Hadoop原生数据库HBase却因...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)