spark mysql hive_macOS下Spark SQL与Hive MySQL集成

1 Spark SQL 与Hive集成(spark-shell)

Spark SQL is Apache Spark's module

for working with structured data.

使用Spark SQL访问Hive需要将$HIVE_HOME/conf下的hive-site.xml拷贝到$SPARK_HOME/conf下

如果集群没有安装hive那么就在$SPARK_HOME/conf下创建一个hive-site.xml，再配置一下可以访问metadata即可

同时添加metastore的url配置

执行操作： vi hive-site.xml，添加如下内容

拷贝hive中的mysql-connector-java-5.1.27-bin.jar包到 spark 的 jars目录下

2 启动服务

2.1 检查MySQL是否启动

2.2 启动hive metastore服务

bin/hive --service metastore

2.3 启动Hive

hive

进入hive命令行

2.4 创建本地文件 javaedge.txt

2.5 执行 Hive 语句

2.6 启动 spark-shell

bin/spark-shell，进入spark-shell中，执行操作，返回结果

spark.sql("select * from kfk.test").show

0001 spark

0002 hive

0003 hbase

0004 hadoop

二、Spark SQL 与Hive集成(spark-sql)

1)启动spark-sql，进入该命令行

bin/spark-sql

2)查看数据库

show databases;

default

kfk

3)使用数据库，并查询表

使用数据库

use kfk

查看表

show tables;

查看表数据

select * from test;

三、Spark SQL之ThriftServer和beeline使用

1)启动ThriftServer

sbin/start-thriftserver.sh

2)启动beeline

bin/beeline !connect jdbc:hive2://node1:10000

# 查看数据库

show databases;

# 查看表数据

select * from kfk.test;

四、Spark SQL与MySQL集成

1)启动spark-shell，进入shell命令行

sbin/spark-shell

2)spark-shell命令行中输入 :paste 可以输入整段命令

val jdbcDF = spark

.read

.format("jdbc")

.option("url", "jdbc:mysql://node1:3306/test")

.option("dbtable", "spark1")

.option("user", "root")

.option("password", 1234)

.load()

输入 ctr+d退出整段输入，打印读取数据

jdbcDF.show

五、Spark SQL与HBase集成

Spark SQL与HBase集成，其核心就是Spark Sql通过hive外部表来获取HBase的表数据。

1)拷贝HBase的包和hive包到 spark的 lib目录下

2)启动spark-shell，进入命令行

bin/spark-shell

val df =spark.sql("select count(1) from weblogs").show