spark 读取hbase数据并转化为dataFrame

转载 2016年08月28日 18:53:41

最近两天研究spark直接读取hbase数据,并将其转化为dataframe。之所以这么做,

1、公司的数据主要存储在hbase之中

2、使用dataframe,更容易实现计算。


尽管hbase的官方已经提供了hbase-spark 接口,但是并未对外发布,而且目前的项目又有这方面的需求,且网上关于这么方面的参考比较少,


故贴出来,代码如下,仅供参考




import org.apache.hadoop.hbase.client._
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hadoop.hbase.{TableName, HBaseConfiguration}
import org.apache.hadoop.hbase.util.Bytes
import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkContext, SparkConf}

/**
  * Created by seagle on 6/28/16.
  */
object HBaseSpark {
  def main(args:Array[String]): Unit ={

    // 本地模式运行,便于测试
    val sparkConf = new SparkConf().setMaster("local").setAppName("HBaseTest")

    // 创建hbase configuration
    val hBaseConf = HBaseConfiguration.create()
    hBaseConf.set(TableInputFormat.INPUT_TABLE,"bmp_ali_customer")

    // 创建 spark context
    val sc = new SparkContext(sparkConf)
    val sqlContext = new SQLContext(sc)
    import sqlContext.implicits._

    // 从数据源获取数据
    val hbaseRDD = sc.newAPIHadoopRDD(hBaseConf,classOf[TableInputFormat],classOf[ImmutableBytesWritable],classOf[Result])

    // 将数据映射为表  也就是将 RDD转化为 dataframe schema
    val shop = hbaseRDD.map(r=>(
      Bytes.toString(r._2.getValue(Bytes.toBytes("info"),Bytes.toBytes("customer_id"))),
      Bytes.toString(r._2.getValue(Bytes.toBytes("info"),Bytes.toBytes("create_id")))
      )).toDF("customer_id","create_id")

    shop.registerTempTable("shop")

    // 测试
    val df2 = sqlContext.sql("SELECT customer_id FROM shop")

    df2.foreach(println)
  }

}
代码能够运行的前提是
1、 引用了 spark-sql  jar
2、配置了Hbase-site.xml ,并将其放在工程的根目录下

spark 读取hbase数据并转化为dataFrame

spark 的应用原来越广泛,而且hbase的最新代码也开始加入了hbase-spark模块,但是发行版本并未提供spark api。为了方面程序处理,故写了一个demo。 用于处理spark中获取h...
  • yuanbingze
  • yuanbingze
  • 2016年07月12日 18:02
  • 4046

从HBase数据库表中读取数据动态转为DataFrame格式,方便后续用Spark SQL操作(scala实现)

个人研究后,才发现HBase存储的都是字符串类型,大部分函数都是byte[]字节类型来操作,需要用到HBaseTableCatalog类,需要导入hbase-spark-***.jar相关jar包,下...
  • ZhouyuanLinli
  • ZhouyuanLinli
  • 2017年06月01日 20:39
  • 1834

Spark Hbase 集成

安装Spark和Hbase,将Hbase的lib目录下的jar包复制到Spark目录的jars目录下: cp /apps/hbase/lib/metrics-core-2.2.0.jar /...
  • sunrising_hill
  • sunrising_hill
  • 2018年01月19日 16:47
  • 46

使用SparkSQL读取Hbase表

HBase-Spark Connector(在HBase-Spark 模块中)利用了在Spark-1.2.0中引入的DataSource API(SPARK-3247),在简单的HBase KV存储和...
  • qazwsx1225a
  • qazwsx1225a
  • 2017年12月05日 17:29
  • 86

spark运算结果写入hbase及优化

在Spark中利用map-reduce或者spark sql分析了数据之后,我们需要将结果写入外部文件系统。 本文,以向Hbase中写数据,为例,说一下,Spark怎么向Hbase中写数据。 首先,需...
  • zbc1090549839
  • zbc1090549839
  • 2016年02月26日 20:21
  • 8237

phoenix-4.7.0:DataFrame读取和导入到Hbase (apache版本)

phoenix-4.7.0安装 1、首先去官网下载Phoenix的压缩包 下载地址:http://mirror.bit.edu.cn/apache/phoenix/ 由于我们系统...
  • silentwolfyh
  • silentwolfyh
  • 2016年07月14日 10:52
  • 2140

Spark2加载保存文件,数据文件转换成数据框dataframe

hadoop fs -put /home/wangxiao/data/ml/Affairs.csv /datafile/wangxiao/ hadoop fs -ls -R /datafile ...
  • sysmedia
  • sysmedia
  • 2017年05月20日 13:27
  • 511

spark 读取hbase中的数据

import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.client.Scan impor...
  • lzz360
  • lzz360
  • 2016年06月24日 15:38
  • 1397

win10下Spark java读取Hbase数据

本文采用spark2.1+hadoop2.7.3+Hbase1.3.0的配置,在hbase shell中插入数据,然后用java把这些数据读入到spark rdd中...
  • Incy_1218
  • Incy_1218
  • 2017年05月09日 14:31
  • 947

<转>【DataFrame】数据离散化重组

离散化的原始数据来自 Spark 源码包,离散化函数选用 spark ml 包中的 Bucketizer 方法。 [java] view plain copy ...
  • yongjian_luo
  • yongjian_luo
  • 2017年01月18日 20:05
  • 620
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:spark 读取hbase数据并转化为dataFrame
举报原因:
原因补充:

(最多只允许输入30个字)