需要将json文件和hive文件中的内容进行join操作
json文件如下,里面是字典格式
{“12334” : [“需要”,“测试”], “1445” : [“需要2”,“测试2”], }
将上述json文件转为 [ {id:“12334” ,‘name’ [“需要”,“测试”]} ,{}],之后进行如下操作
import org.apache.spark.sql.SparkSession
val spark=SparkSession.builder().getOrCreate()
// 加载json中的数据
import spark.implicits._
val df = spark.read.json("file:///usr/local/spark/examples/src/main/resources/people.json")
df.show()
// 加载hive表中的数据
hiveSql = "SELECT XXXXX"
val hiveDF = HiveSQLUtil.runSQL(sparkSession, hiveSql)
// join操作
val joinRst = jsonDF.join(hiveDF,jsonDF( "id") === hiveDF("id" ))