Hbase
孙行者Monkey
1.每天进步一丢丢,做个有趣的人 2.种一棵树最好时间是十年前,其次是现在 3.每个人都有一个觉醒期,但觉醒的早晚决定个人的命运 4.知行合一,知道了不去做,等于不知道
展开
-
通过bulkload的方式批量加载数据到HBase
加载数据到HBase当中去的方式多种多样,我们可以使用HBase的javaAPI或者使用sqoop将我们的数据写入或者导入到HBase当中去,但是这些方式不是慢就是在导入的过程的占用Region资源导致效率低下,我们也可以通过MR的程序,将我们的数据直接转换成HBase的最终存储格式HFile,然后直接load数据到HBase当中去即可 HBase中每张Table在根目...原创 2019-11-25 21:28:11 · 611 阅读 · 0 评论 -
Retry attempted 10 times without completing, bailing out解决
今天在做通过bulkload的方式批量加载数据到HBase中去的时候遇到了这个异常然后去网上找到了这个方案,我的Hbase是2.0.0,所以试了也没用具体代码如下:BulkLoadMain.classimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;i...原创 2019-11-25 21:07:46 · 2336 阅读 · 2 评论 -
实用 | Hbase RowKey设计
一、设计原则1.Rowkey的唯一原则 必须在设计上保证其唯一性。由于在HBase中数据存储是Key-Value形式,若HBase中同一表插入相同Rowkey,则原先的数据会被覆盖掉(如果表的version设置为1的话),所以务必保证Rowkey的唯一性2. Rowkey的排序原则 HBase的Rowkey是按照ASCII有序设计的,我们在设计Rowk...原创 2019-11-09 16:16:39 · 659 阅读 · 0 评论