spark dataframe/dataset解析json字符串的字段

最新推荐文章于 2024-08-02 15:48:40 发布

master.zZ

最新推荐文章于 2024-08-02 15:48:40 发布

阅读量3.6k

点赞数 1

分类专栏： spark

本文链接：https://blog.csdn.net/qq_33498670/article/details/93379349

版权

该博客详细介绍了如何在Spark中利用DataFrame和Dataset操作，通过get_json_object函数逐层解析JSON字符串中的各个对象，从而高效处理JSON数据。

摘要由CSDN通过智能技术生成

1.使用函数get_json_object逐个取出json当层对象

object testdf {
  def main(args: Array[String]): Unit = {
    Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)
    val spark = SparkSession.builder().master("local[*]").appName("test app").getOrCreate()
    import spark.implicits._
    val ds = spark.createDataset(Seq("""{"name":"hrr","age":12,"subject":[{"name":"math","level":1}]}"""))
    ds.show(false)
    
    ds打印为：
+-------------------------------------------------------------+
|value                                                        |
+-------------------------------------------------------------+
|{"name":"hrr","age":12,"subject":[{"name":"math","level":1}]}|
+-------------------------------------------------------------+

    ds.createOrReplace