spark包装json文件

已于 2023-02-21 14:41:18 修改
阅读量451 收藏
点赞数
文章标签： spark 大数据 scala
于 2022-07-22 15:57:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wenwen1542/article/details/125914516
版权

sparkSql记录

SparkSession的三种创建方式

入口 ：SQLContext与SparkSession
2.0版本以前，SparkSQL所有的功能入口是SQLContext
//SQLContext要依赖SparkContext
2.0版本以后，SparkSQL所有的功能入口是SparkSession

# 在老的版本中，SparkSQL提供两种SQL查询起始点，一个叫SQLContext，用于Spark自己提供的SQL查询，一个叫HiveContext，用于连接Hive的查询，SparkSession是Spark最新的SQL查询起始点，实质上是SQLContext和HiveContext的组合，所以在SQLContext和HiveContext上可用的API在SparkSession上同样是可以使用的。SparkSession内部封装了sparkContext，计算实际上是由sparkContext完成的。

 /**
      * 创建SparkSession方式1
      * builder用于创建一个SparkSession。
      * appName设置App的名字
      * master设置运行模式(集群模式不用设置)
      * getOrCreate 进行创建
      */
    val sparks1 = SparkSession.builder()
    .appName("SparkSession1")
    .master("local")
    .getOrCreate()
    /**
      * 创建SparkSession方式2
      * 先通过SparkConf创建配置对象
      * SetAppName设置应用的名字
      * SetMaster设置运行模式(集群模式不用设置)
      * 在通过SparkSession创建对象
      * 通过config传入conf配置对象来创建SparkSession
      * getOrCreate 进行创建
      */
    val conf = new SparkConf()
    .setAppName("SparkSession2")
    .setMaster("local")
    val sparks2 = SparkSession
    .builder()
    .config(conf)
    .getOrCreate()
    /**
      * 创建SparkSession方式3
      * builder用于创建一个SparkSession。
      * appName设置App的名字
      * master设置运行模式(集群模式不用设置)
      * enableHiveSupport 开启hive操作
      * getOrCreate 进行创建
      */
    val sparks3 = 
    SparkSession
    .builder()
    .appName("SparkSession3")
    .master("local")
    .enableHiveSupport()
    .getOrCreate()
    
    //关闭
    sparks1.stop()
    sparks2.stop()
    sparks3.stop()
spark包装json数据
准备数据
张三 25 男 chinese 50
张三 25 男 math 60
张三 25 男 english 70
张三 25 男 chinese 80
李四 20 男 chinese 50
李四 20 男 math 50
李四 20 男 english 50
王芳 19 女 chinese 70
王芳 19 女 math 70
王芳 19 女 english 70
张大三 25 男 chinese 60
张大三 25 男 math 60
张大三 25 男 english 70
李大四 20 男 chinese 50
李大四 20 男 math 60
李大四 20 男 english 50
王小芳 19 女 chinese 70
王小芳 19 女 math 80
王三芳 19 女 his 70
王四芳 19 女 pyh 70
王五芳 19 女 chinese 70
王三芳 19 女 english 70
王四芳 19 女 math 70
王五芳 19 女 math 70
王三芳 19 女 math 70
实体类
import org.codehaus.jackson.annotate.JsonProperty;
import java.io.Serializable;
public class Stu implements Serializable {
    @JsonProperty("name")
    String name;
    @JsonProperty("age")
    String age;
    @JsonProperty("gender")
    String gender;
    @JsonProperty("classname")
    String classname;
    @JsonProperty("score")
    String score;
    public String getName() {
        return name;
    }
    public void setName(String name) {
        this.name = name;
    }
    public String getAge() {
        return age;
    }
    public void setAge(String age) {
        this.age = age;
    }
    public String getGender() {
        return gender;
    }
    public void setGender(String gender) {
        this.gender = gender;
    }
    public String getClassname() {
        return classname;
    }
    public void setClassname(String classname) {
        this.classname = classname;
    }
    public String getScore() {
        return score;
    }
    public void setScore(String score) {
        this.score = score;
    }
}
测试代码
package testjson

import jsonClass.Stu

import org.apache.htrace.fasterxml.jackson.databind.ObjectMapper
import org.apache.spark.sql.{DataFrame, SparkSession}

object test1 {
  def main(args: Array[String]): Unit = {
    // TODO: 设置输出日志等级
//    Logger.getLogger("org").setLevel(Level.WARN)
//
    // TODO: 获取sparkSession链接
    val spark = SparkSession.builder()
      .appName("mobile")
      .master("local")
      //      .config("spark.some.config.option", "some-value")
      .getOrCreate()
    //TODO: 读取本地文件为df
    val df: DataFrame = spark
      .read
      .format("csv")
      .option("delimiter", " ")
      .load("stu.txt")
    // TODO: 修改df的表字段

    val df1: DataFrame = df.
      withColumnRenamed("_c0", "name")
      .withColumnRenamed("_c1", "age")
      .withColumnRenamed("_c2", "gender")
      .withColumnRenamed("_c3", "classname")
      .withColumnRenamed("_c4", "score")
    // TODO: 查表
    //        df1.show()

    // TODO: 处理数据
    val dt = df1.rdd.map(x => {
      val name = x.getAs[String]("name")
      val age = x.getAs[String]("age")
      val gender = x.getAs[String]("gender")
      val classname = x.getAs[String]("classname")
      val score = x.getAs[String]("score")
      // TODO: 返回一个五元组
      (name, age, gender, classname,score)
    })
      .map(f => {
        val stu = new Stu
        stu.setName(f._1)
        stu.setAge(f._2)
        stu.setGender(f._3)
        stu.setClassname(f._4)
        stu.setScore(f._5)

        val jsonStr = new ObjectMapper().writeValueAsString(stu)

        println(jsonStr)
        val score = f._5
        val rowkeystr = new StringBuilder()
          .append(score+"-"+score)
        // TODO: 返回key和 jsonStr
        (rowkeystr.toString() + "|" + jsonStr)
      })
    // TODO: 遍历打印返回值
          .foreach(println)

    // 写入文件
/*    val conf = new Configuration()
    val path = new Path("path")
    val fileSystem = FileSystem.get(conf)
    if (fileSystem.exists(path)) {
      fileSystem.delete(path,true)
    }
    dt.saveAsTextFile("path")*/
    spark.stop()
  }
}
json数据
50-50|{"name":"张三","age":"25","gender":"男","classname":"chinese","score":"50"}
60-60|{"name":"张三","age":"25","gender":"男","classname":"math","score":"60"}
70-70|{"name":"张三","age":"25","gender":"男","classname":"english","score":"70"}
80-80|{"name":"张三","age":"25","gender":"男","classname":"chinese","score":"80"}
50-50|{"name":"李四","age":"20","gender":"男","classname":"chinese","score":"50"}
50-50|{"name":"李四","age":"20","gender":"男","classname":"math","score":"50"}
50-50|{"name":"李四","age":"20","gender":"男","classname":"english","score":"50"}
70-70|{"name":"王芳","age":"19","gender":"女","classname":"chinese","score":"70"}
70-70|{"name":"王芳","age":"19","gender":"女","classname":"math","score":"70"}
70-70|{"name":"王芳","age":"19","gender":"女","classname":"english","score":"70"}
60-60|{"name":"张大三","age":"25","gender":"男","classname":"chinese","score":"60"}
60-60|{"name":"张大三","age":"25","gender":"男","classname":"math","score":"60"}
70-70|{"name":"张大三","age":"25","gender":"男","classname":"english","score":"70"}
50-50|{"name":"李大四","age":"20","gender":"男","classname":"chinese","score":"50"}
60-60|{"name":"李大四","age":"20","gender":"男","classname":"math","score":"60"}
50-50|{"name":"李大四","age":"20","gender":"男","classname":"english","score":"50"}
70-70|{"name":"王小芳","age":"19","gender":"女","classname":"chinese","score":"70"}
80-80|{"name":"王小芳","age":"19","gender":"女","classname":"math","score":"80"}
70-70|{"name":"王三芳","age":"19","gender":"女","classname":"his","score":"70"}
70-70|{"name":"王四芳","age":"19","gender":"女","classname":"pyh","score":"70"}
70-70|{"name":"王五芳","age":"19","gender":"女","classname":"chinese","score":"70"}
70-70|{"name":"王三芳","age":"19","gender":"女","classname":"english","score":"70"}
70-70|{"name":"王四芳","age":"19","gender":"女","classname":"math","score":"70"}
70-70|{"name":"王五芳","age":"19","gender":"女","classname":"math","score":"70"}
70-70|{"name":"王三芳","age":"19","gender":"女","classname":"math","score":"70"}
宋------
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark sql 生成 json
shengjk1的博客
06-21 1267
背景想通过 spark sql 查询 hive 表然后将相应的字段组装成 sql，类似于 json_object ，不过可惜的是 spark 3.1.x 并没有 json_object 函数，不过还好spark sql 有 to_json 函数例子： 结果，可以保留数据原类型。这是最重要的一个点，组装 json，得保留原字段的数据类型.........
spark操作json数据
盛源的博客
08-09 8412
1 转换到json格式 1. 所列转换到只有一列json格式的value列 // 1 获取SparkSession val spark = SparkSession .builder() .appName("spark_demo") .master("local[3]") .getOrCreate() import spark.implicits._ // 2 构造数据源 val arr = Array((1, 20), (2, 18), (3, 16)) val df=spa.
spark学习(7)之使用SparkSession的CreateDataFrame和其他有格式(json/parquet)的数据源来创建DataFrame
枣泥馅的博客
01-17 2658
在上一遍中我们讲了使用使用样本类case class创建DataFrame，这一篇我们来看一下怎么使用SparkSession创建DataFrame，我们看一下SparkSession的一个api SparkSession.createDataFrame(rowRDD: RDD[Row], schema: StructType): DataFrame 它使用俩参数一个是RDD[Row]，一个是StructType 我们需要把数据集转化成RDD[Row]的格式，然后使用StructType构建DataFram
Spark sql实现两列结合形成一个Json结构
最新发布
weixin_42278668的博客
08-28 312
【代码】Spark sql实现两列结合形成一个Json结构。
删除符合一定条件的若干行数据
ch206265的博客
10-13 1239
关键： #删除month字段中内容是'1/','2/','6/','7/','8/','9/','10','11','12'的行 data=data[~(data['month'].isin(['1/','2/','6/','7/','8/','9/','10','11','12']))] #仅删除字段名为month的一整列数据 data=data.drop(['month'],axis=1) import pandas as pd import numpy as np #导入数据 #data .
Spark SQL操作JSON字段的小技巧
09-09
主要给大家介绍了关于Spark SQL操作JSON字段的小技巧，文中通过示例代码介绍的非常详细，对大家学习或者使用spark sql具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧。
spark SQL学习parquet文件和people.json文件
01-03
users.parquet people.json spark ,spark学习中的parquet文件和json文件
SparkJavaJson:使用Spark进行JSON解析
05-16
submit --class org.sparketl.etljobs.SparkEtl --properties-file sparkjob.conf /sparketl/target/sparketl-0.0.1-SNAPSHOT.jar {spark master url} {使用存在的city_list.json在此项目中} {输出文件（用于配对RDD...
解析JSON文件
12-13
本范例是一个Scala工程，结合Java组件实现了对spark产品分析的结果json文件进行解析，将其内部的几何对象转换为记录集写入数据集里，由于Scala读写文件的效率比较高，故采用Scala与Java组件实现。
spark-json-schema:适用于Apache Spark的JSON模式解析器
05-22
spark-json-schema 该库的目标是在将json数据加载到Apache Spark中时支持输入数据的完整性。 为此，该库： 读取现有的json模式文件 解析json模式并构建一个Spark DataFrame模式 将json数据加载到Spark中时，可以...
使用pyspark解析json文件，并将统计结果写入InfluxDB中
06-20
使用pyspark解析json文件，并将统计结果写入InfluxDB中
SparkSQL读写外部数据源-json文件的读写
aohuang8877的博客
09-08 180
object JsonFileTest { def main(args: Array[String]): Unit = { val spark = SparkSession .builder() .master("local") .appName("JsonFileTest") .getOrCreate() ...
Spark程序将Json数据写入ES索引
攻城狮Kevin
04-23 1537
采用import org.elasticsearch.spark.rdd.EsSpark的相关API，将Json格式的数据写入Es索引中 需要引入的依赖在最后面 <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch-hadoop&lt...
Spark SQL 添加第三方依赖包
freeRoad
12-09 2030
最近在使用spark sql 执行hive语句时碰到异常信息如下： Class org.openx.data.jsonserde.JsonSerDe not found Exception 开始以为时hive环境有问题，把sql语句拿到hive环境单独跑没有问题，排除掉这项。若有问题，参考解决方案。 https://www.it610.com/article/1282643683400761344.htm 使用spark-submit --jar 提交掉时候已经引入了json-serde-.
Spark SQL编程
sj天问的博客
12-10 280
SparkSession新的起始点 在老的版本中，SparkSQL提供两种SQL查询起始点： 一个叫SQLContext，用于Spark自己提供的SQL查询； 一个叫HiveContext，用于连接Hive的查询。 SparkSession是Spark最新的SQL查询起始点，实质上是SQLContext和HiveContext的组合，所以在SQLContext和HiveContext上可用的API在SparkSession上同样是可以使用的。 SparkSession内部封装了SparkContext，所
12.SparkSQL概述
GCPOP的博客
06-17 133
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-g7Xrat4M-1655396200675)(assets/1653210188965.png)]Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EB5w3gRG-1655396200677)(assets/1653223225529.png)]SparkCore：RDD -> 取代 Ma
spark中将数据输出到json文件的两种方式
weixin_41590998的博客
11-15 5337
在学习spark时，我们经常遇到要将数据写进一个json文件中的案例。通常的案例就是，给我们一个普通文件，然后我们用sparkcore或者sparkSQL，遍历文件内容后，按照需求将再将遍历后得到的数据写入json文件中。 这里，我主要使用两种方法： 方式一：通过dataframe.write.json() 方式二：使用gson 初始的文件部分内容大概如下所示： 300T|3001003|C204...
Spark SQL数据JSON文件介绍_大数据培训
zjjcchina的博客
08-10 253
Spark SQL 能够自动推测 JSON数据集的结构，并将它加载为一个Dataset[Row]. 可以通过SparkSession.read.json()去加载一个 一个JSON 文件。注意：这个JSON文件不是一个传统的JSON文件，每一行都得是一个JSON串。2）加载JSON文件。...
spark生成json文件
archer的技术故事
01-08 7446
spark生成json文件 接上一篇文章：http://blog.csdn.net/wild46cat/article/details/54174695 上一篇文章讲述了如何读取一个json文件，并且转换成对象。本篇文章介绍如何生成json文件。 下面是代码： import org.json4s._ import org.json4s.JsonDSL._ import org.json4s
spark 怎么存储为json文件
04-14
你可以使用Python中的json库将spark数据存储为json文件。具体步骤请参考以下代码： ``` import json # 假设你的spark数据存储在data变量中 data = [{"name": "John", "age": 30}, {"name": "Jane", "age": 25}] # 将data存储为json文件 with open("data.json", "w") as f: json.dump(data, f) ``` 你也可以使用Spark提供的saveAsTextFile函数将数据存储为json格式的文件，具体操作如下： ```python data = [{"name": "John", "age": 30}, {"name": "Jane", "age": 25}] rdd = sc.parallelize(data) rdd.map(lambda x: json.dumps(x)).saveAsTextFile("data.json") ``` 以上是我能够回答的问题，请问还有什么可以帮助您的吗？

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值