一、Spark SQL与HBase集成
Spark SQL与HBase集成,其核心就是Spark Sql通过hive外部表来获取HBase的表数据。
1.把hbase,hive,mysql相关jar包拷贝到spark的jars目录下
我使用的是spark2.2.0,根据这些包版本都是基于spark版本找的,如果版本低会出现一些问题的。
2.启动hbae各节点
3.查看hive中的表
4.启动spark-shell获取表
val df=spark.sql("select *from test").show