spark 读取hbase数据并转化为dataFrame

转载 2016年08月28日 18:53:41

最近两天研究spark直接读取hbase数据,并将其转化为dataframe。之所以这么做,

1、公司的数据主要存储在hbase之中

2、使用dataframe,更容易实现计算。


尽管hbase的官方已经提供了hbase-spark 接口,但是并未对外发布,而且目前的项目又有这方面的需求,且网上关于这么方面的参考比较少,


故贴出来,代码如下,仅供参考




import org.apache.hadoop.hbase.client._
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hadoop.hbase.{TableName, HBaseConfiguration}
import org.apache.hadoop.hbase.util.Bytes
import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkContext, SparkConf}

/**
  * Created by seagle on 6/28/16.
  */
object HBaseSpark {
  def main(args:Array[String]): Unit ={

    // 本地模式运行,便于测试
    val sparkConf = new SparkConf().setMaster("local").setAppName("HBaseTest")

    // 创建hbase configuration
    val hBaseConf = HBaseConfiguration.create()
    hBaseConf.set(TableInputFormat.INPUT_TABLE,"bmp_ali_customer")

    // 创建 spark context
    val sc = new SparkContext(sparkConf)
    val sqlContext = new SQLContext(sc)
    import sqlContext.implicits._

    // 从数据源获取数据
    val hbaseRDD = sc.newAPIHadoopRDD(hBaseConf,classOf[TableInputFormat],classOf[ImmutableBytesWritable],classOf[Result])

    // 将数据映射为表  也就是将 RDD转化为 dataframe schema
    val shop = hbaseRDD.map(r=>(
      Bytes.toString(r._2.getValue(Bytes.toBytes("info"),Bytes.toBytes("customer_id"))),
      Bytes.toString(r._2.getValue(Bytes.toBytes("info"),Bytes.toBytes("create_id")))
      )).toDF("customer_id","create_id")

    shop.registerTempTable("shop")

    // 测试
    val df2 = sqlContext.sql("SELECT customer_id FROM shop")

    df2.foreach(println)
  }

}
代码能够运行的前提是
1、 引用了 spark-sql  jar
2、配置了Hbase-site.xml ,并将其放在工程的根目录下

从HBase数据库表中读取数据动态转为DataFrame格式,方便后续用Spark SQL操作(scala实现)

个人研究后,才发现HBase存储的都是字符串类型,大部分函数都是byte[]字节类型来操作,需要用到HBaseTableCatalog类,需要导入hbase-spark-***.jar相关jar包,下...

Spark创建DataFrame和读取CSV数据文件

之前写的程序中,有些API在Spark SQLContext没有,我计算的结果先保存在rdd中,最后在使用RDD转换成dataframe进行保存,话不多说下面是代码. //一个StruceField...

Spark创建DataFrame和读取CSV数据文件

之前写的程序中,有些API在Spark SQLContext没有,我计算的结果先保存在rdd中,最后在使用RDD转换成dataframe进行保存,话不多说下面是代码.//一个StruceFields你...

Spark Sql,Dataframe和数据集指南

概述   Spark SQL是一个spark模块,主要用于结构化数据的处理。不像基础的spark RDD的API那么抽象,该接口能够对数据和数据的计算提供更多的信息。Spark SQL使用这些额外的信...

使用Spark DataFrame进行大数据处理

简介     DataFrame让Spark具备了处理大规模结构化数据的能力,在比原有的RDD转化方式易用的前提下,计算性能更还快了两倍。这一个小小的API,隐含着Spark希望大一统「大数据江...
  • vfgbv
  • vfgbv
  • 2016年06月03日 13:55
  • 2971

spark dataframe和dataSet用电影点评数据实战

RDD 优点: 编译时类型安全  编译时就能检查出类型错误面向对象的编程风格  直接通过类名点的方式来操作数据 缺点: 序列化和反序列化的性能开销  无论是集群间的通...

利用Spark将DataFrame、Hive数据写入Oracle

本篇博文的主要内容: 1、分析Spark读写Oracle方法 2、DataFrame数据写入Oracle 3、Hive数据写入Oracle       DataFrame是在Spark...

利用Spark将DataFrame、Hive数据写入Oracle

本篇博文的主要内容: 1、分析Spark读写Oracle方法 2、DataFrame数据写入Oracle 3、Hive数据写入Oracle DataFrame是在Spark1.3.0中推出的新的a...
  • NASAXK
  • NASAXK
  • 2016年03月23日 15:18
  • 4416

Spark DataFrame----一个用于大规模数据科学的API

DataFrame,作为2014–2015年Spark最大的API改动,能够使得大数据更为简单,从而拥有更广泛的受众群体。 文章翻译自Introducing DataFrames in Sp...
  • wind520
  • wind520
  • 2015年02月20日 11:49
  • 8660

基于Spark DataFrame的数据仓库框架

数据存储的多样性,对数据分析、挖掘带来众多不变。应用瓶颈表现在两个方面: 1.      传统数据库mysql等的数据处理能力有限,随着数据量的增加,join、groupby、orderby等操作出现...
  • lulynn
  • lulynn
  • 2015年11月30日 10:55
  • 3177
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:spark 读取hbase数据并转化为dataFrame
举报原因:
原因补充:

(最多只允许输入30个字)