spark 读取hbase数据并转化为dataFrame

转载 2016年08月28日 18:53:41

最近两天研究spark直接读取hbase数据,并将其转化为dataframe。之所以这么做,

1、公司的数据主要存储在hbase之中

2、使用dataframe,更容易实现计算。


尽管hbase的官方已经提供了hbase-spark 接口,但是并未对外发布,而且目前的项目又有这方面的需求,且网上关于这么方面的参考比较少,


故贴出来,代码如下,仅供参考




import org.apache.hadoop.hbase.client._
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hadoop.hbase.{TableName, HBaseConfiguration}
import org.apache.hadoop.hbase.util.Bytes
import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkContext, SparkConf}

/**
  * Created by seagle on 6/28/16.
  */
object HBaseSpark {
  def main(args:Array[String]): Unit ={

    // 本地模式运行,便于测试
    val sparkConf = new SparkConf().setMaster("local").setAppName("HBaseTest")

    // 创建hbase configuration
    val hBaseConf = HBaseConfiguration.create()
    hBaseConf.set(TableInputFormat.INPUT_TABLE,"bmp_ali_customer")

    // 创建 spark context
    val sc = new SparkContext(sparkConf)
    val sqlContext = new SQLContext(sc)
    import sqlContext.implicits._

    // 从数据源获取数据
    val hbaseRDD = sc.newAPIHadoopRDD(hBaseConf,classOf[TableInputFormat],classOf[ImmutableBytesWritable],classOf[Result])

    // 将数据映射为表  也就是将 RDD转化为 dataframe schema
    val shop = hbaseRDD.map(r=>(
      Bytes.toString(r._2.getValue(Bytes.toBytes("info"),Bytes.toBytes("customer_id"))),
      Bytes.toString(r._2.getValue(Bytes.toBytes("info"),Bytes.toBytes("create_id")))
      )).toDF("customer_id","create_id")

    shop.registerTempTable("shop")

    // 测试
    val df2 = sqlContext.sql("SELECT customer_id FROM shop")

    df2.foreach(println)
  }

}
代码能够运行的前提是
1、 引用了 spark-sql  jar
2、配置了Hbase-site.xml ,并将其放在工程的根目录下

相关文章推荐

spark 读取hbase数据并转化为dataFrame

spark 的应用原来越广泛,而且hbase的最新代码也开始加入了hbase-spark模块,但是发行版本并未提供spark api。为了方面程序处理,故写了一个demo。 用于处理spark中获取h...

从HBase数据库表中读取数据动态转为DataFrame格式,方便后续用Spark SQL操作(scala实现)

个人研究后,才发现HBase存储的都是字符串类型,大部分函数都是byte[]字节类型来操作,需要用到HBaseTableCatalog类,需要导入hbase-spark-***.jar相关jar包,下...

使用SparkSQL/DataFrame读取HBase表

HBase-Spark Connector手段DataSource是在Spark-1.2.0引入的,在简单的HBase KV存储和复杂的关系型SQL查询之间架起了桥梁,使得用户可以在HBase上使用S...

Spark创建DataFrame和读取CSV数据文件

之前写的程序中,有些API在Spark SQLContext没有,我计算的结果先保存在rdd中,最后在使用RDD转换成dataframe进行保存,话不多说下面是代码. //一个StruceField...

Spark创建DataFrame和读取CSV数据文件

之前写的程序中,有些API在Spark SQLContext没有,我计算的结果先保存在rdd中,最后在使用RDD转换成dataframe进行保存,话不多说下面是代码.//一个StruceFields你...

基于Spark DataFrame的数据仓库框架

数据存储的多样性,对数据分析、挖掘带来众多不变。应用瓶颈表现在两个方面: 1.      传统数据库mysql等的数据处理能力有限,随着数据量的增加,join、groupby、orderby等操作出现...
  • lulynn
  • lulynn
  • 2015-11-30 10:55
  • 2810

Spark DataFrame----一个用于大规模数据科学的API

DataFrame,作为2014–2015年Spark最大的API改动,能够使得大数据更为简单,从而拥有更广泛的受众群体。 文章翻译自Introducing DataFrames in Sp...

spark dataframe和dataSet用电影点评数据实战

RDD 优点: 编译时类型安全  编译时就能检查出类型错误面向对象的编程风格  直接通过类名点的方式来操作数据 缺点: 序列化和反序列化的性能开销  无论是集群间的通...

Spark SQL 1.3.0 DataFrame介绍、使用及提供了些完整的数据写入

问题导读 1.DataFrame是什么? 2.如何创建DataFrame? 3.如何将普通RDD转变为DataFrame? 4.如何使用DataFrame? 5.在1.3.0中,提供...

spark之DataFrame的json数据实战

一,DataFrame简介: 在Spark中,DataFrame是一种以RDD为基础的分布式数据据集,类似于传统数据库听二维表格,DataFrame带有Schema元信息,即DataFrame所表示...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)