spark上的一些任务

需要将json文件和hive文件中的内容进行join操作

json文件如下,里面是字典格式

{“12334” : [“需要”,“测试”], “1445” : [“需要2”,“测试2”], }

将上述json文件转为 [ {id:“12334” ,‘name’ [“需要”,“测试”]} ,{}]，之后进行如下操作

import org.apache.spark.sql.SparkSession
val spark=SparkSession.builder().getOrCreate()

// 加载json中的数据
import spark.implicits._
val df = spark.read.json("file:///usr/local/spark/examples/src/main/resources/people.json")
df.show()

// 加载hive表中的数据
hiveSql = "SELECT XXXXX"
val hiveDF = HiveSQLUtil.runSQL(sparkSession, hiveSql)

// join操作
val joinRst = jsonDF.join(hiveDF,jsonDF( "id") === hiveDF("id" ))