pyspark案例系列1- 运行spark-sql的几种方式

一.环境介绍

我本地的环境的CDH 6.3.1的环境，自己已经将spark软件安装成功了。
然后有一个节点因为不小心升级了spark的版本，导致与集群失去了联系，然后在该节点下重新安装了spark。

二.运行spark-sql的几种方式

2.1 spark-shell的方式

可以通过spark-shell的方式来登陆spark，然后用spark.sql模块来执行sql。

命令:

spark-shell --master local[2] \
spark.sql("use test").show(false)
spark.sql("select * from emp").show(false)

测试记录:

可以看到spark 的history server上有spark-shell的记录。

2.2 beeline的方式

通过beeline的方式，然后jdbc连接hive。

命令:

beeline
!connect jdbc:hive2://10.31.1.123:10000
username: spark
password : spark

测试记录:

测试过后，spark 的history server及yarn上都没有该脚本的运行记录。

2.3 spark-sql的方式

spark-sql常用的查询工具，速度比较hivesql要快。但是cdh6并没有spark-sql。

我们独立安装的一个节点的spark
代码:

cd /etc/spark/conf
cp /etc/hive/conf/hive-site.xml ./

sudo -u hdfs hadoop fs -chmod -R 777 /tmp/hive
cd /tmp
rm -rf hive

-- 此时spark登陆的居然是一个全新的库
spark-sql

测试记录:

此时spark登陆的居然是一个全新的库
这个问题后面再看,实在不能登陆spark-sql的话，就用spark shell进行代替吧。

参考:

1.https://www.cnblogs.com/yaowentao/p/13048664.html
2.https://blog.csdn.net/weixin_33683108/article/details/114489527
3.https://blog.csdn.net/qq_36835255/article/details/90770620