查看hive的数据
1、启动hadoop集群
./start-all.sh
2、启动hive
cd /opt/hive/bin
./hive
show tables;
select * from orders t limit 10;
可以看到查询到hive的数据,下面将通过spark-shell 或者 spark-sql的方式访问hive
一、使用spark-shell ,spark访问hive
1.将/opt/hive/conf/hive-site.xml复制到/opt/spark/conf目录下
2.–jars 传递mysql驱动包
3.运行spark-shell
./spark-shell --master local[2] --jars /opt/mysql-connector-java-5.1.22-bin.jar
spark.sql("show tables").show
2、使用spark-sql,spark访问hive
1.将/opt/hive/conf/hive-site.xml复制到/opt/spark/conf目录下
2.–jars 传递mysql驱动包
3.运行spark-sql
./spark-sql --master local[2] --jars /opt/mysql-connector-java-5.1.22-bin.jar