标题这么麻烦,其实是为了让大家能搜到我啦,嘻嘻,这篇文章主要的内容就是本地有个txt文件,或者其他格式的文件,使用java,把这个文件里数据批量导入到hbase的某个表中。
这只是个简单的笨办法啦、适合类似我这种对hbase不咋会且资源受制于人但需要尽快完成任务的。
欢迎大神评论区指正或提供思路,毕竟我是真的菜。
1. 背景交代
搞这个东西,主要是工作中需要集群迁移,集群搬迁不是我们部门来做,所以数据还没有搬到新集群,但是我要把项目进行升级,就需要在新集群放点数据进行测试。然后呢,服务器我也没办法登,手里的材料就是HUE和java。当然了,我也不咋会hbase,属于未入门。所以此时的需求就是,使用简陋的材料(HUE,JAVA),实现部分数据的迁移。
这个数据的迁移呢,就对应于从旧集群取得数据和对新集群导入数据。
旧集群数据的取得:HUE可以查询数据,本来列少的话直接使用HUE进行复制就行了,超简单。然而,这条rowkey,一共有225列,然后一共有8条rowkey,所以相当于一共有1800条数据,这要CV大法我手手都要成鸡爪了。于是呢,我就debug跑了一下程序,在debug中把这个程序中对应的数据复制出来,得到的结果就是一条rowkey2行(因为有两个列族,每行一个列族)