Spark SQL 操作 Hive 表数据

 

spark-shell 方式操作 Hive

show tables

select * from emp

join 操作

总结：和 HQL 语法一毛一样，只是记得 使用如下 格式 spark.sql(" xxxxxx ").show 即可

如果嫌麻烦，还可以直接使用 spark-sql 进行查询，直接写 sql 即可操作 hive，如下

结果为：

 

编程方式操作 Hive

代码如下

object SparkSQLHiveDemo {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .config("spark.sql.warehouse.dir", "/spark-warehouse").enableHiveSupport().getOrCreate()
    //读取 hive 表中的数据
    spark.sql("select e.empno,e.ename,e.job,e.mgr,e.comm from emp e join dept d on e.deptno = d.deptno")
      .filter("comm is not null")
      .write.parquet("/demp");
    spark.close()
  }
}

打包提交到服务器，执行 spark-submmit 运行 jar

./spark-submit --class sparkSql.SparkSQLHiveDemo \
--master spark://hadoop102:7077 \
--jars /opt/module/hive-1.2.2/lib/mysql-connector-java-5.1.27-bin.jar 
/home/hadoop/SparkLearning-0.0.1-SNAPSHOT-jar-with-dependencies.jar

执行结果为

HDFS 中已经写入了 parquet 文件

 

下面我们通过 spark-shell 将这个文件读出来看一下是否正确