大数据技术之Spark SQL——解析JSON字符串

已于 2023-10-13 11:25:52 修改
阅读量1.6k 收藏 1
点赞数
分类专栏： # spark 文章标签： sql json java
于 2023-04-11 18:28:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/d905133872/article/details/130080753
版权

目录

一、数据准备

1）Department

 2）School

3）Student

4）Teacher

5）实例化对象

结构如下：

二、加载数据

数据展示 

三、日志数据加载

输出结果 

一、数据准备

1）Department

package org.example.jsonre;

public class Department {
    private String name;
    private String describe;

    @Override
    public String toString() {
        return "Department{" +
                "name='" + name + '\'' +
                ", describe='" + describe + '\'' +
                '}';
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getDescribe() {
        return describe;
    }

    public void setDescribe(String describe) {
        this.describe = describe;
    }

    public Department() {
    }

    public Department(String name, String describe) {
        this.name = name;
        this.describe = describe;
    }
}

 2）School

package org.example.jsonre;

public class School {
    private String name;
    private String leader;
    private String address;

    public School() {
    }

    public School(String name, String leader, String address) {
        this.name = name;
        this.leader = leader;
        this.address = address;
    }

    @Override
    public String toString() {
        return "School{" +
                "name='" + name + '\'' +
                ", leader='" + leader + '\'' +
                ", address='" + address + '\'' +
                '}';
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getLeader() {
        return leader;
    }

    public void setLeader(String leader) {
        this.leader = leader;
    }

    public String getAddress() {
        return address;
    }

    public void setAddress(String address) {
        this.address = address;
    }
}

3）Student

package org.example.jsonre;

import com.alibaba.fastjson.JSON;

import java.io.*;
import java.util.ArrayList;

public class Student {
    private Integer id;
    private String name;
    private String grade;
    private School school;

    public Integer getId() {
        return id;
    }

    public void setId(Integer id) {
        this.id = id;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getGrade() {
        return grade;
    }

    public void setGrade(String grade) {
        this.grade = grade;
    }

    public School getSchool() {
        return school;
    }

    public void setSchool(School school) {
        this.school = school;
    }

    @Override
    public String toString() {
        return "Student{" +
                "id=" + id +
                ", name='" + name + '\'' +
                ", grade='" + grade + '\'' +
                ", school=" + school +
                '}';
    }

    public Student() {
    }

    public Student(Integer id, String name, String grade, School school) {
        this.id = id;
        this.name = name;
        this.grade = grade;
        this.school = school;
    }
}

4）Teacher

package org.example.jsonre;


import java.util.ArrayList;

public class Teacher {
    private Integer id;
    private String name;
    private String tel;
    private String email;
    private Department dept;

    @Override
    public String toString() {
        return "Teacher{" +
                "id=" + id +
                ", name='" + name + '\'' +
                ", tel='" + tel + '\'' +
                ", email='" + email + '\'' +
                ", dept=" + dept +
                ", stu=" + stu +
                '}';
    }

    public Integer getId() {
        return id;
    }

    public void setId(Integer id) {
        this.id = id;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getTel() {
        return tel;
    }

    public void setTel(String tel) {
        this.tel = tel;
    }

    public String getEmail() {
        return email;
    }

    public void setEmail(String email) {
        this.email = email;
    }

    public Department getDept() {
        return dept;
    }

    public void setDept(Department dept) {
        this.dept = dept;
    }

    public ArrayList<Student> getStu() {
        return stu;
    }

    public void setStu(ArrayList<Student> stu) {
        this.stu = stu;
    }

    public Teacher() {
    }

    public Teacher(Integer id, String name, String tel, String email, Department dept, ArrayList<Student> stu) {
        this.id = id;
        this.name = name;
        this.tel = tel;
        this.email = email;
        this.dept = dept;
        this.stu = stu;
    }

    private ArrayList<Student> stu;

}

5）实例化对象

public class Test {

    public static void main(String[] args) {
// 数据装载
                Teacher teacher = new Teacher();

        School school = new School();
        school.setAddress("安德门");
        school.setLeader("王德发");
        school.setName("南京某大学");
        Department department = new Department();
        department.setName("学术部");
        department.setDescribe("主要负责教学研究");
        Student stu1 = new Student();
        stu1.setId(1);
        stu1.setName("张三");
        stu1.setGrade("一年级");

        stu1.setSchool(school);
        Student stu2 = new Student();
        stu2.setId(2);
        stu2.setName("李四");
        stu2.setGrade("一年级");
        School school3 = new School();
        School school2 = new School();
        school2.setAddress("安德门");
        school2.setLeader("王德发");
        school2.setName("南京某大学");
        stu2.setSchool(school2);
        Student stu3 = new Student();
        stu3.setId(3);
        stu3.setName("赵六");
        stu3.setGrade("二年级");
        school3.setAddress("安德门");
        school3.setLeader("王德发");
        school3.setName("南京某大学");
        stu3.setSchool(school3);
        ArrayList<Student> students = new ArrayList<>();
        students.add(stu1);
        students.add(stu2);
        students.add(stu3);
        teacher.setDept(department);
        teacher.setStu(students);
        teacher.setEmail("fivedessert@gmail.cn");
        teacher.setName("five小点心");
        teacher.setTel("1231231234");

        String jsonString = JSON.toJSONString(teacher);
        System.out.println(jsonString);


        FileWriter fr = null;
        try {
            fr = new FileWriter("out/jsonTest.txt");
            fr.write(jsonString);

            fr.flush();

        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
        try {
            fr.close();
        } catch (IOException e) {
            e.printStackTrace();
        }



    }
}
{"dept":{"describe":"主要负责教学研究","name":"学术部"},"email":"fivedessert@gmail.cn","name":"five小点心","stu":[{"grade":"一年级","id":1,"name":"张三","school":{"address":"安德门","leader":"王德发","name":"南京某大学"}},{"grade":"一年级","id":2,"name":"李四","school":{"address":"安德门","leader":"王德发","name":"南京某大学"}},{"grade":"二年级","id":3,"name":"赵六","school":{"address":"安德门","leader":"王德发","name":"南京某大学"}}],"tel":"1231231234"}

结构如下：

二、加载数据

sc.textFile读取数据源，并对结构化数据进行拆分

import org.apache.spark.sql.SparkSession
import org.apache.spark.{SparkConf, SparkContext}

object JsonTest {
  def main(args: Array[String]): Unit = {
// 定义sc配置
    val conf = new SparkConf().setMaster("local").setAppName("JsonTest")
    val spark = SparkSession.builder().config(conf).getOrCreate()
    val sc = spark.sparkContext

// 导入包
    import org.apache.spark.sql.functions._
    import org.apache.spark.sql.types._
    import spark.implicits._

// jsonobj1：读取数据，输出rdd数据
    val jsonobj1 = sc.textFile("out/jsonTest.txt")
    jsonobj1.collect().foreach(println)

// jsonobj2：将rdd数据转换成DF类型数据
    val jsonobj2 = jsonobj1.toDF("teacher")
    jsonobj2.printSchema()
    jsonobj2.show(false)

// jsonobj3：将json类型数据按照需求进行切分
    val jsonobj3 = jsonobj2.select(
      get_json_object($"teacher","$.dept").as("dept"),
      get_json_object($"teacher","$.email").as("email"),
      get_json_object($"teacher","$.name").as("name"),
      get_json_object($"teacher","$.stu").as("stu"),
      get_json_object($"teacher","$.tel").as("tel")
    )
    jsonobj3.printSchema()
    jsonobj3.show(false)

// jsonobj4：与obj3类似，将dept数据进行进一步拆分
    val jsonobj4 = jsonobj3.select(
      get_json_object($"dept", "$.name").as("dept_name"),
      get_json_object($"dept", "$.describe").as("describe"),
      $"email", $"stu", $"tel"
    )
    jsonobj4.printSchema()
    jsonobj4.show(false)

// jsonobj5：将stu的数据进行结构化处理，需要定义数据类型
    val jsonobj5 = jsonobj4.select($"dept_name",$"describe",$"email",$"tel"
      ,from_json($"stu",ArrayType(StructType(
          StructField("grade", StringType) ::
            StructField("id", LongType) ::
            StructField("name", StringType) ::
            StructField("school", StringType) ::Nil
      ))).as("stu"))
    jsonobj5.printSchema()
    jsonobj5.show(false)

// jsonobj6：将stu数据分成多行
    val jsonobj6 = jsonobj5.withColumn("stu",explode($"stu"))
    jsonobj6.printSchema()
    jsonobj6.show(false)

// jsonobj7：obj6的数据继续拆分
// 由于是结构化数据，这里调用的方式与json略有不同
    val jsonobj7 = jsonobj6.select($"dept_name",$"describe",$"email",$"tel",
      $"stu.grade".as("stu_grade"),
      $"stu.id".as("stu_id"),
      $"stu.name".as("stu_name"),
      $"stu.school".as("stu_school")
    )
    jsonobj7.printSchema()
    jsonobj7.show(false)

// jsonobj8：将剩余数据进行拆分
    val jsonobj8 = jsonobj7.select($"dept_name",$"describe",$"email",$"tel",$"stu_grade",$"stu_id",$"stu_name",
      get_json_object($"stu_school","$.address").as("sch_address"),
      get_json_object($"stu_school","$.leader").as("sch_leader"),
      get_json_object($"stu_school","$.name").as("sch_name")
    )
    jsonobj8.printSchema()
    jsonobj8.show()

// 关闭
    spark.close()
    sc.stop()
  }

}

数据展示 

 

 

 

 

 

三、日志数据加载

同样的，除了json格式字符串，我们也可以用类似的方法来加载日志数据。

log日志数据文件（测试用-test）-其它文档类资源-CSDN文库

package org.example.etl.util.test

import com.mysql.cj.util.SaslPrep
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{Row, SparkSession}
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{DataFrame, Row, SparkSession, functions, types}
import org.apache.spark.sql._
import org.apache.spark.sql.types.{StringType, StructField, StructType}

object etldemo {
  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setAppName("etl").setMaster("local")
    val spark = SparkSession.builder().config(conf).getOrCreate()
    val sc = spark.sparkContext

    import spark.implicits._

    val rdd1 = sc.textFile("in/test.log")
//    rdd1.collect().foreach(println)

    // 加载日志数据，按照\t分隔，过滤出长度为8的数据
    // 将数据封装到Row对象，创建DF
    val rdd2 = rdd1.map(x => x.split("\t"))
      .filter(x => x.length == 8)
      .map(x => Row(x(0), x(1), x(2), x(3), x(4), x(5), x(6), x(7)))
//    rdd2.collect().foreach(println)

    val schema = StructType(
      Array(
        StructField("event_time", StringType),
        StructField("url", StringType),
        StructField("method", StringType),
        StructField("status", StringType),
        StructField("sip", StringType),
        StructField("user_uip", StringType),
        StructField("action_prepend", StringType),
        StructField("action_client", StringType)
      )
    )

    val logdf1 = spark.createDataFrame(rdd2,schema)
    logdf1.printSchema()
    logdf1.show(5)

    //    过滤数据：去除重复项 + status=200 + event_time不为空
        val logdf2 = logdf1.dropDuplicates("event_time", "url")
          .filter($"status" === 200)
          .filter($"event_time".isNotNull)
    logdf2.printSchema()
    logdf2.show(5,false)

    val logrdd = logdf2.map(line => {
      val str = line.getAs[String]("url")
      val strArray = str.split("\\?")
      var strMap: Map[String, String] = null;
      if (strArray.length == 2) {
        val tuples: Array[(String, String)] = strArray(1).split("&")
          .map(x => x.split("="))
          .filter(x => x.length == 2)
          .map(x => (x(0), x(1)))
        strMap = tuples.toMap
      }
      // 返回值，这里getAs后必须跟类型值
      (
        line.getAs[String]("event_time"),
        strMap.getOrElse("userUID", ""),
        strMap.getOrElse("userSID", ""),
        strMap.getOrElse("actionBegin", ""),
        strMap.getOrElse("actionEnd", ""),
        strMap.getOrElse("actionType", ""),
        strMap.getOrElse("actionName", ""),
        strMap.getOrElse("actionValue", ""),
        strMap.getOrElse("actionTest", ""),
        strMap.getOrElse("ifEquipment", ""),
        line.getAs[String]("method"),
        line.getAs[String]("status"),
        line.getAs[String]("sip"),
        line.getAs[String]("user_uip"),
        line.getAs[String]("action_prepend"),
        line.getAs[String]("action_client"),
      )
    }
    ).toDF()    // 这时候输出的数据类型为元组，需要对其列进行指定
        .rdd

    val schema2 = new StructType(Array(
      StructField("event_time",StringType),
      StructField("userUID",StringType),
      StructField("userSID",StringType),
      StructField("actionBegin",StringType),
      StructField("actionEnd",StringType),
      StructField("actionType",StringType),
      StructField("actionName",StringType),
      StructField("actionValue",StringType),
      StructField("actionTest",StringType),
      StructField("ifEquipment",StringType),
      StructField("method",StringType),
      StructField("status",StringType),
      StructField("sip",StringType),
      StructField("user_uip",StringType),
      StructField("action_prepend",StringType),
      StructField("action_client",StringType)
    ))

    val logdf3 = spark.createDataFrame(logrdd, schema2)
    logdf3.printSchema()
    logdf3.show(3,false)

    spark.close()
    sc.stop()
  }
}

输出结果 

five小点心
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
SparkSQL技巧-json数据操作
ifeng
09-26 987
SparkSQL 复杂 json 操作
sql解析json数据
askuld的博客
03-24 2737
意思json数据解析成数据列表。
Spark SQL解析json文件
jiandanbuguo的博客
11-22 8579
Spark SQL解析json文件一、get_json_object二、from_json三、explode四、案例：解析json格式日志数据数据处理 先介绍一下会用到的三个函数：get_json_object、from_json、explode 一、get_json_object 从一个json 字符串中根据指定的json 路径抽取一个json 对象 def get_json_object(e: org.apache.spark.sql.Column,path: String): org.apache.s
Spark操作 对json复杂和嵌套数据结构的操作
weixin_53898747的博客
04-13 718
从Json取值-----get_json_object，to_json()将获取的数据转化为json格式，对嵌套结构的处理（样例类和炸裂函数使用来解决）。
SQL Server中解析json
weixin_49543015的博客
09-27 2328
}'with(
SparkSQL 操作 Json 格式数据
图特摩斯科技-博客
07-24 1万+
从嵌套列中选择 Dots（.）可用于访问嵌套列的结构和映射。 // input { "a": { "b": 1 } } Python: events.select("a.b") Scala: events.select("a.b") SQL: select a.b from events // output { "b": 1 } 扁平结构 一个
Spark SQL操作JSON字段的小技巧
09-09
首先，`get_json_object` 函数用于从JSON字符串中提取特定字段的值。它的语法是 `get_json_object(json_string, json_path)`，其中 `json_string` 是包含JSON数据的字符串，而 `json_path` 是一个类似于JSON Path的...
Python数据科学速查表 - Spark SQL 基础1
08-03
Spark SQL是Spark的一个模块，专门用于结构化数据处理，它提供了与SQL兼容的语言来查询数据，同时也支持DataFrame和Dataset API，使得与传统SQL数据库的交互变得简单。 在PySpark中创建一个SparkSession是开始所有...
大学生大数据技术原理与应用章节测验期末考试答案.docx
12-17
7. 在NoSQL数据库中，键值数据库的键是一个字符串对象，值可以是任意类型的数据，文档数据库的数据是松散的，XML和JSON文档等都可作为数据存储在文档数据库中，图数据库灵活性高，支持复杂的图算法等。 8. NoSQL...
Hadoop大数据技术-pig操作
最新发布
06-04
2. **数据类型与Schema**：Pig支持多种数据类型，包括 bytearray（二进制数据）、chararray（字符串）、int（整型）、long（长整型）、float（浮点型）、double（双精度浮点型）等。同时，Pig允许定义Schema来描述...
解析JSON文件
12-13
本范例是一个Scala工程，结合Java组件实现了对spark产品分析的结果json文件进行解析，将其内部的几何对象转换为记录集写入数据集里，由于Scala读写文件的效率比较高，故采用Scala与Java组件实现。
gg-interview-challenge：（采访）ScalaSpark中的GG采访挑战
02-04
在Scala和Spark中，处理JSON数据通常会用到库如circe、play-json或者Spark内置的`SparkSession.read.json()`方法，它们可以将JSON字符串转换为DataFrame，便于分析和处理。 5. **Logstash**：Logstash是一个开源的...
生产环境_Spark解析JSON字符串并插入到MySQL数据库
Matrix70的博客
12-16 689
随后使用SparkSQL将这条数据写入mysql中特定的库表，其实还可以做一个优化的，比如入库前先判断有没有这条数据，如果有则不插入，如果没有就插入，优化这部分我没做，有时间在改吧。我需要将一段从前端传过来的JSON字符串进行解析，并从中提取出所需的数据，然后将这些数据插入到MySQL数据库中。库解析JSON数据将上面的json串解析，使用。注意的是，只要配置好mysql的配置即可。spark代码会使用。最近开发有一个需求，是这样的。json格式样例如下。
spark中读取json_【spark】文件读写和JSON数据解析
weixin_33773670的博客
02-11 3234
1.读文件通过sc.textFile(“file://")方法来读取文件到rdd中。val lines = sc.textFile("file://")//文件地址或者HDFS文件路径本地地址"file:///home/hadoop/spark-1.6.0-bin-hadoop2.6/examples/src/main/resources/people.json"HDFS文件地址"hdfs://...
spark 解析 Json 字符串
weixin_41018467的博客
12-05 3948
有这样的 json 字符串 {"date":"2019-04-04","$browser_version":"11.0"} {"date":"2019-04-04","$browser_version":"7.0.3} 这里我用python来解析 Python 的Pyspark 如何用 pyspark 解析这段 json 字符串 首先想到的就是 read.json函数，点进...
T-SQL解析json字符串函数
忧郁的蛋的专栏
01-18 289
【代码】T-SQL解析json字符串函数。
SparkSql-json数据源---解析嵌套Json
热门推荐
qq_824203453_的博客
06-16 1万+
版权声明：本文为博主原创文章，未经博主允许不得转载!! 欢迎访问:https://blog.csdn.net/qq_21439395/article/details/80710180 交流QQ: 824203453 欢迎关注B站，收看更多视频内容：https://space.bilibili.com/383891492 SparkSql 版本为 2.2.0 sparksql解析j...
spark sql 生成 json
shengjk1的博客
06-21 1343
背景想通过 spark sql 查询 hive 表然后将相应的字段组装成 sql，类似于 json_object ，不过可惜的是 spark 3.1.x 并没有 json_object 函数，不过还好spark sql 有 to_json 函数例子： 结果，可以保留数据原类型。这是最重要的一个点，组装 json，得保留原字段的数据类型.........
spark-sql读取嵌套json数据
qq_43193797的博客
09-07 1779
SparkSql 版本为 2.2.0 sparksql解析json格式的数据源 首先，获取操作sparkSql的SparkSession操作实例： val session = SparkSession.builder() .master(“local[*]”) .appName(this.getClass.getSimpleName) .getOrCreate() // 导入隐式转换和functions import session.implicits._ import org.apache.spark.s
spark字符串转json
10-14
在Spark中，可以使用`spark.read.json()`方法将字符串转换为JSON格式。示例代码如下： ```python from pyspark.sql import SparkSession spark = SparkSession.builder.appName("StringToJson").getOrCreate() # 定义字符串 json_string = '{"name": "Alice", "age": 25, "city": "New York"}' # 将字符串转换为DataFrame df = spark.read.json(sc.parallelize([json_string])) # 显示DataFrame df.show() ``` 输出结果为： ``` +---+-------+--------+ |age| city| name| +---+-------+--------+ | 25|New York| Alice| +---+-------+--------+ ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值