往hbase插入数据,你会选择哪种?

这篇博客探讨了在HBase中插入数据的不同选择,包括使用Java、Shell和Python。作者选择了Python结合HBase Shell的方式,因为Java实现较繁琐,而Thrift需要额外服务。文章提到了ImportTsv工具和MapReduce批量导入,适合大数据量,但面对大量数据可能丢失的问题,解决方案是先生成HFile再进行bulkload。
摘要由CSDN通过智能技术生成

好久,好久没有写个博客了,自从上次封闭开始,到“自闭”,有了一段时间了,哈哈^_^ 、 

   多亏了云桌面的歇菜, 一下午啥都干不了, 突然想到,好久没有写点啥了,就写的,让时间流走有点痕迹吧 _(:з」∠)_

    之前,做过一个小工具,就是将一个文件中的数据,插入的hbase中, 将其简单阐述一番,多少记一点吧,要不在过一段时间都忘了。

    

  插入到hbase中,有很多中选择,java的方式是可以的,但是做一个脚本,没有必要,操作起来不方便,还得编译,.... ,  

   选择shell或python的方式,是个方便的选择,反正是个小工具,有可能会随时调整 ,而且linux是自带的Python环境

   要用Python脚步的方式插入到hbase,参考hbase的官方文档。

   查看hbase Reference Guide, 里面介绍内容很多,包括很多入门操作说明等。
   本次,主要是查看了如何更好的利用Python脚步插入到hbase中。
   由于hbase是java写的,要用Python去执行查询插入数据到hbase中,是有两种方式走,

  • 一种是利用thrift的方式,作为python和java中间翻译层,进行操作hbase的方式;
  • 还有个方法,就是用Python包装一层linux shell方式, 用hbase shell的方式操作hbae。

     由于要用thrift方式,是需要开启服务,

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值