python使用spark-sql读取数据并可视化_使用Spark SQL读取HBase上的数据

近日，由华为团队开发的

1、基于部分评估技术，该项目具有强大的数据剪枝和智能扫描特点；

2、支持自定义过滤规则、协处理器等以便支持超低延迟的处理；

3、支持SQL、DataFrame；

4、支持更多的SQL(比如二级索引、布隆过滤、主键、批量加载以及更新)；

5、支持和其他数据源进行整合；

6、支持Python/Java/Scala；

7、支持

引入依赖

1、如果你使用的是spark-shell，可以如下操作： > $SPARK_HOME/bin/spark-shell --packages Huawei-Spark:Spark-SQL-on-HBase:1.0.0

2、如果你使用SBT的话，在你们build.sbt文件加入一下依赖： spDependencies += "Huawei-Spark/Spark-SQL-on-HBase:1.0.0"

或者 resolvers += "Spark Packages Repo" at "http://dl.bintray.com/spark-packages/maven"

libraryDependencies += "Huawei-Spark" % "Spark-SQL-on-HBase" % "1.0.0"

3、如果使用的是Maven，请在pom.xml文件加入一下依赖：

Huawei-Spark

Spark-SQL-on-HBase

1.0.0

SparkPackagesRepo

http://dl.bintray.com/spark-packages/maven

项目地址以及如何使用