spark-shell 方式操作 Hive
show tables
select * from emp
join 操作
总结:和 HQL 语法一毛一样,只是记得 使用如下 格式 spark.sql(" xxxxxx ").show 即可
如果嫌麻烦,还可以直接使用 spark-sql 进行查询,直接写 sql 即可操作 hive,如下
结果为:
编程方式操作 Hive
代码如下
object SparkSQLHiveDemo {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder()
.config("spark.sql.warehouse.dir", "/spark-warehouse").enableHiveSupport().getOrCreate()
//读取 hive 表中的数据
spark.sql("select e.empno,e.ename,e.job,e.mgr,e.comm from emp e join dept d on e.deptno = d.deptno")
.filter("comm is not null")
.write.parquet("/demp");
spark.close()
}
}
打包提交到服务器,执行 spark-submmit 运行 jar
./spark-submit --class sparkSql.SparkSQLHiveDemo \
--master spark://hadoop102:7077 \
--jars /opt/module/hive-1.2.2/lib/mysql-connector-java-5.1.27-bin.jar
/home/hadoop/SparkLearning-0.0.1-SNAPSHOT-jar-with-dependencies.jar
执行结果为
HDFS 中已经写入了 parquet 文件
下面我们通过 spark-shell 将这个文件读出来看一下是否正确