Scala PrefixFilter

34 篇文章 0 订阅
14 篇文章 0 订阅

How to read from hbase using spark

TableInputFormat has the following attributes:

SCAN_ROW_START
SCAN_ROW_STOP
conf.set(TableInputFormat.SCAN_ROW_START, "startrowkey")
conf.set(TableInputFormat.SCAN_ROW_STOP, "stoprowkey")

val myConf = HBaseConfiguration.create()
    myConf.set("hbase.zookeeper.quorum", "master4,slave41,slave42")
    myConf.set("hbase.master", "master4:60000")
    myConf.set("hbase.zookeeper.property.clientPort", "2181")
    myConf.set("hbase.defaults.for.version.skip", "true")
    myConf.set(TableInputFormat.INPUT_TABLE, "test")
    myConf.set(TableInputFormat.SCAN_ROW_START,"1")
    myConf.set(TableInputFormat.SCAN_ROW_STOP,"2")//不会取到stopRowkey
    myConf.set(TableInputFormat.SCAN_COLUMNS, "cf:1Column") 
val hbaseRDD = sc.newAPIHadoopRDD(myConf, classOf[TableInputFormat],
      classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable],
      classOf[org.apache.hadoop.hbase.client.Result])

    val count = hbaseRDD.count()
    val newHbaseRDD = hbaseRDD.map{ case(_,result) =>
      val key = Bytes.toString(result.getRow)
      key
    }
    newHbaseRDD.collect().foreach(
    println(_)
    )
//output
1_0
1_1
1_2
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值