spark学习-scala版写的SparkSQL程序读取Hbase表注册成表SQL查询

最新推荐文章于 2022-12-17 21:53:31 发布

九师兄

最新推荐文章于 2022-12-17 21:53:31 发布

阅读量2.4k

点赞数 1

分类专栏：大数据-spark 文章标签： spark hbase yarn

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/77328805

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

本文介绍了使用Scala编写的SparkSQL程序，该程序能够读取HBase表并进行连接查询。程序已在Eclipse本地环境中成功运行，但因效率问题需迁移到集群环境。然而，在设置Master后，程序遇到运行错误。

摘要由CSDN通过智能技术生成

在这里插入图片描述

1.我写了一个程序，读取hbase中的五个表并且做连接查询，在eclise中本地可以直接测试，没有配置文件，直接把hbase和spark的jar包拷贝进去就可以了

package sparlsql.hbase;

import org.apache.hadoop.hbase.client._
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hadoop.hbase.{TableName, HBaseConfiguration}
import org.apache.hadoop.hbase.util.Bytes
import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkContext, SparkConf}

import java.util.Date  

object SparkSQLOnHbase {
  
 
  
  def main(args: Array[String]): Unit = {
    
         
         val starttime=System.nanoTime

了解本专栏