spark高级操作之json文件的分析处理

步骤一，上传一篇json文件到hdfs，文件内容可以用百度搜素：json文件在线解析 如下：

hdfs dfs -put /opt/kb09file/op.log /kb09file

步骤二：，分析json文件，按照“|”切割，分成两部分

步骤三：对jsonStrRDD的第二部分进行截取（substring）操作

val jsonRDD=jsonStrRDD.map(x=>{var jsonStr=x._2;jsonStr=
jsonStr.substring(0,jsonStr.length-1);jsonStr+",\"id\":\""+x._1+"\"}"})

步骤四：将RDD转换为dataframe，结构化数据处理

步骤五：导入jar包

import org.apache.spark.sql.types._
import org.apache.spark.sql.functions._

步骤六：

//将json字符串{“cm”:“a1”,“ap”:“b1”,“et”:“c1”,“id”:“d1”}结构化
{
“cm”:Object{…},
“ap”:“app”,
“et”:Array[5],
“id”:“1593136280858”
}，把它结构化为如下格式的表
// 表头 cm ap et id
// 列 a1 b1 c1 d1

//代码：
val jsonDF2=jsonDF.select( 
get_json_object($"value","$.cm").alias("cm") 
,get_json_object($"value","$.ap").alias("ap")
,get_json_object($"value","$.et").alias("et") 
,get_json_object($"value","$.id").alias("id")
)

步骤七：//将cm里的字段结构化

val jsonDF3 = jsonDF2.select($"id",$"ap",get_json_object($"cm","$.ln").alias(