【spark-sql】使用spark-sql或spark-shell访问hive

查看hive的数据
1、启动hadoop集群

./start-all.sh

2、启动hive

cd /opt/hive/bin
./hive
show tables;
select * from orders t limit 10;

可以看到查询到hive的数据，下面将通过spark-shell 或者 spark-sql的方式访问hive

一、使用spark-shell ，spark访问hive

1.将/opt/hive/conf/hive-site.xml复制到/opt/spark/conf目录下
2.–jars 传递mysql驱动包
3.运行spark-shell

./spark-shell --master local[2] --jars /opt/mysql-connector-java-5.1.22-bin.jar
spark.sql("show tables").show

2、使用spark-sql,spark访问hive

1.将/opt/hive/conf/hive-site.xml复制到/opt/spark/conf目录下
2.–jars 传递mysql驱动包
3.运行spark-sql

./spark-sql --master local[2] --jars /opt/mysql-connector-java-5.1.22-bin.jar