spark core 根据查询条件条件删除hbase数据

主要策略:

    一 ,读取hbase表数据

    二 ,获取rowkey字段,和过滤条件用的字段

    三 ,根据过滤条件,只保留需要删除的数据的rowkey

    四  ,分批次删除hbase 数据(我这里每个批次10000条)

具体代码如下:

package ezr.bigdata.spark.hbase

import java.util.{ArrayList, List}

import org.apache.hadoop.hbase.client._
import org.apache.hadoop.hbase.protobuf.ProtobufUtil
import org.apache.hadoop.hbase.util.{Base64, Bytes}
import org.apache.hadoop.hbase.{CellUtil, HBaseConfiguration, TableName}
import org.apache.spark.{SparkConf, SparkContext}

import scala.collection.JavaConversions._

/**根据品牌删除hbase数据
  * 参数 必须大于等于2个
  *   第一个参数:hbase 表名炒年糕
  *   第二个参数开始:品牌的brandId(可以是多个品牌id空格隔开)
  *   例如:
  *     ① pro:crm_vip_info_grade_log1 333 319
  *     ② pro:crm_vip_info_grade_log1 333 
  *
  * Created by liucf on 09/20/2019.
  */
object DeleteDataByBrand {
  def convertScanToStrin
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值