Spark项目实战-数据清洗

已于 2022-04-14 14:34:17 修改
阅读量1.1w 收藏 106
点赞数 24
文章标签： spark
于 2022-04-14 14:30:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Legosnow/article/details/124169161
版权

日志文件：https://pan.baidu.com/s/1Eve8GmGi21JLV70fqJjmQw 
提取码：3xsp

使用工具：IDEA Maven

使用Spark完成数据清洗和日用户留存分析：

目录

1.搭建环境

2.数据清洗

3.用户日留存分析

4.源代码：

1.搭建环境

配置pom.xml

    <repositories>
        <repository>
            <id>aliyunmaven</id>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        </repository>
        <repository>
            <id>spring-milestones</id>
            <name>Spring Milestones</name>
            <url>https://repo.spring.io/milestone</url>
        </repository>
    </repositories>
    <dependencies>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.13</artifactId>
            <version>3.2.1</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/junit/junit -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.13.2</version>
            <scope>test</scope>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.scala-lang/scala-library -->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.13.8</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.13</artifactId>
            <version>3.2.1</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.13</artifactId>
            <version>3.2.1</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.28</version>
        </dependency>
    </dependencies>

下载Scala插件：

file->setting->plugins

2.数据清洗

可以通过SparkSql中DataFrame的数据抽象，将数据存放在Mysql中，整个日志的RDD格式走向变化过程可理解为：

RDD[String]->RDD[Array[String]]->RDD[Row]->DataFrame->存入Mysql

在数据清洗前，需要了解Web日志的规格设置，本日志数据与数据之间是通过"\t"也就是Tab键位分隔开的，下面是一条常规的Web日志，其规格如下

event_time = 2018-09-04T20:27:31+08:00	
url = http://datacenter.bdqn.cn/logs/user?actionBegin=1536150451540&actionClient=Mozilla%2F5.0+%28Windows+NT+10.0%3B+WOW64%29+AppleWebKit%2F537.36+%28KHTML%2C+like+Gecko%29+Chrome%2F58.0.3029.110+Safari%2F537.36+SE+2.X+MetaSr+1.0&actionEnd=1536150451668&actionName=startEval&actionTest=0&actionType=3&actionValue=272090&clientType=001_kgc&examType=001&ifEquipment=web&isFromContinue=false&skillIdCount=0&skillLevel=0&testType=jineng&userSID=B842B843AE317425D53D0C567A903EF7.exam-tomcat-node3.exam-tomcat-node3&userUID=272090&userUIP=1.180.18.157	
method = GET	
status = 200	
sip = 192.168.168.64	
user_uip = -	
action_prepend = -	
action_client = Apache-HttpClient/4.1.2 (java 1.5)

1)将RDD[String]转换为RDD[Row]的形式,并且过滤字段数少于8的日志

    val linesRDD = sc.textFile("C:/Users/Lenovo/Desktop/Working/Python/data/test.log")
    import spark.implicits._    

    val line1 = linesRDD.map(x => x.split("\t"))
        //line1.foreach(println)
    val rdd = line1
      .filter(x => x.length == 8)
      .map(x => Row(x(0).trim, x(1).trim, x(2).trim, x(3).trim, x(4).trim, x(5).trim, x(6).trim, x(7).trim))
        //rdd.foreach(println)

2)将RDD[Row]转换为DataFrame，建立初步映射关系

//    建立RDD和表格的映射关系
    val schema = StructType(Array(
      StructField("event_time", StringType),
      StructField("url", StringType),
      StructField("method", StringType),
      StructField("status", StringType),
      StructField("sip", StringType),
      StructField("user_uip", StringType),
      StructField("action_prepend", StringType),
      StructField("action_client", StringType)
    ))
    val orgDF = spark.createDataFrame(rdd, schema)
    //    orgDF.show(5)

3)将url按照"&"和"="切割字段

//去重，过滤掉状态码非200，过滤时间为空
    //distinct是根据每一条数据进行完整内容的比对和去重，dropDuplicates可以根据指定的字段进行去重。
    val ds1 = orgDF.dropDuplicates("event_time", "url")
      .filter(x => x(3) == "200")
      .filter(x => StringUtils.isNotEmpty(x(0).toString))

    //将url按照"&"和"="切割
    //userSID
    //userUIP
    //actionClient
    //actionBegin
    //actionEnd
    //actionType
    //actionPrepend
    //actionTest
    //ifEquipment
    //actionName
    //id
    //progress进行切割

    //以map的形式建立内部映射关系
    val dfDetail = ds1.map(row => {
      val urlArray = row.getAs[String]("url").split("\\?")
      var map = Map("params" -> "null")
      if (urlArray.length == 2) {
        map = urlArray(1).split("&")
          .map(x => x.split("="))
          .filter(_.length == 2)
          .map(x => (x(0), x(1)))
          .toMap
      }
      (
        //map为url中字段，row为原DataFrame字段
        row.getAs[String]("event_time"),
        row.getAs[String]("user_uip"),
        row.getAs[String]("method"),
        row.getAs[String]("status"),
        row.getAs[String]("sip")，
        map.getOrElse("actionBegin", ""),
        map.getOrElse("actionEnd", ""),
        map.getOrElse("userUID", ""),
        map.getOrElse("userSID", ""),
        map.getOrElse("userUIP", ""),
        map.getOrElse("actionClient", ""),
        map.getOrElse("actionType", ""),
        map.getOrElse("actionPrepend", ""),
        map.getOrElse("actionTest", ""),
        map.getOrElse("ifEquipment", ""),
        map.getOrElse("actionName", ""),
        map.getOrElse("progress", ""),
        map.getOrElse("id", "")
      )
    }).toDF()
//    dfDetail.show(5)

4)重新组建表头，将原DataFrame数据全部平摊,并存入数据库

val detailRDD = dfDetail.rdd
    val detailSchema = StructType(Array(
      StructField("event_time", StringType),
      StructField("user_uip", StringType),
      StructField("method", StringType),
      StructField("status", StringType),
      StructField("sip", StringType),
      StructField("actionBegin", StringType),
      StructField("actionEnd", StringType),
      StructField("userUID", StringType),
      StructField("userSID", StringType),
      StructField("userUIP", StringType),
      StructField("actionClient", StringType),
      StructField("actionType", StringType),
      StructField("actionPrepend", StringType),
      StructField("actionTest", StringType),
      StructField("ifEquipment", StringType),
      StructField("actionName", StringType),
      StructField("progress", StringType),
      StructField("id", StringType)
    ))

    val detailDF = spark.createDataFrame(detailRDD, detailSchema)

    //    overwrite重写,append追加
    val prop = new Properties()
    prop.put("user", "root")
    prop.put("password", "******")
    prop.put("driver","com.mysql.jdbc.Driver")
    val url = "jdbc:mysql://localhost:3306/python_db"
    println("开始写入数据库")
    detailDF.write.mode("overwrite").jdbc(url,"logDetail",prop)
    println("完成写入数据库")

3.用户日留存分析

  1. 求出第n天的新增用户总数m
  2. 求出第n+1天登录与n天新增用户的交集的总数n
  3. 留存率=n/m*100%

1)求出注册和登录行为的数据表

 val prop = new Properties()
    prop.put("user", "root")
    prop.put("password", "******")
    prop.put("driver", "com.mysql.jdbc.Driver")
    val url = "jdbc:mysql://localhost:3306/python_db"
    val dataFrame = spark.read.jdbc(url, "logdetail", prop)

    //所有的注册用户信息（userID，register_time，注册行为）
    val registerDF = dataFrame
      .filter(dataFrame("actionName") === ("Registered"))
      .select("userUID","event_time", "actionName")
      .withColumnRenamed("event_time","register_time")
      .withColumnRenamed("userUID","regUID")
//    registerDF.show(5)
    //原获取的日期格式为2018-09-04T20:27:31+08:00，只需要获取前10个字段（yyyy-mm-dd）
    val registDF2  = registerDF
      .select(registerDF("regUID"),registerDF("register_time")
        .substr(1,10).as("register_date"),registerDF("actionName"))
      .distinct()
//    registDF2.show(5)


    //所有的用户登录信息DF（userUID，signin_time，登录行为）
    val signinDF = dataFrame.filter(dataFrame("actionName") === ("Signin"))
      .select("userUID","event_time", "actionName")
      .withColumnRenamed("event_time","signing_time")
      .withColumnRenamed("userUID","signUID")
//    signinDF.show(5)
    val signiDF2 = signinDF
      .select(signinDF("signUID"),signinDF("signing_time")
        .substr(1,10).as("signing_date"),signinDF("actionName"))
      .distinct()
//    signiDF2.show(5)

2)求出第n和n+1天的交集总数n，第n天新增用户数m

//以inner方式将相同userUID加在一起
    val joinDF = registDF2
      .join(signiDF2,signiDF2("signUID") === registDF2("regUID"),joinType = "inner")
//    joinDF.show(5)

    //Spark内置的datediff函数求出第n和n+1天交集总数n
    val frame = joinDF
      .filter(datediff(joinDF("signing_date"),joinDF("register_date")) === 1)
      .groupBy(joinDF("register_date")).count()
      .withColumnRenamed("count","signcount")
//    frame.show(5)

    //过滤，只拿第n天和当天新增用户总数m
    val frame1 = registDF2
      .groupBy(registDF2("register_date")).count()
      .withColumnRenamed("count","regcount")
//    frame1.show(5)

3）留存率=n/m*100%

  //将m和n放在一张表格中
    val frame2 = frame
      .join(frame1,"register_date")
    frame2.show()

    //新增列名留存率，数值为n/m,求出第n天的用户留存率
    frame2.withColumn("留存率",frame2("signcount")/frame2("regcount"))
      .show()

 

4.源代码：

DataClear.scala

package spark

import org.apache.commons.lang.StringUtils
import org.apache.spark.sql.types.{StringType, StructField, StructType}
import org.apache.spark.sql.{Row, SparkSession}
import java.util.Properties

object DataClear {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().master("local[1]").appName("DataClear").getOrCreate()
    val sc = spark.sparkContext
    val linesRDD = sc.textFile("C:/Users/Lenovo/Desktop/Working/Python/data/test.log")
    import spark.implicits._
    val line1 = linesRDD.map(x => x.split("\t"))
        //line1.foreach(println)
    val rdd = line1
      .filter(x => x.length == 8)
      .map(x => Row(x(0).trim, x(1).trim, x(2).trim, x(3).trim, x(4).trim, x(5).trim, x(6).trim, x(7).trim))
        //rdd.foreach(println)

    //    建立RDD和表格的映射关系
    val schema = StructType(Array(
      StructField("event_time", StringType),
      StructField("url", StringType),
      StructField("method", StringType),
      StructField("status", StringType),
      StructField("sip", StringType),
      StructField("user_uip", StringType),
      StructField("action_prepend", StringType),
      StructField("action_client", StringType)
    ))
    val orgDF = spark.createDataFrame(rdd, schema)
    //    orgDF.show(5)

    //去重，过滤掉状态码非200，过滤时间为空
    //distinct是根据每一条数据进行完整内容的比对和去重，dropDuplicates可以根据指定的字段进行去重。
    val ds1 = orgDF.dropDuplicates("event_time", "url")
      .filter(x => x(3) == "200")
      .filter(x => StringUtils.isNotEmpty(x(0).toString))

    //将url按照"&"以及"="切割，即按照userUID
    //userSID
    //userUIP
    //actionClient
    //actionBegin
    //actionEnd
    //actionType
    //actionPrepend
    //actionTest
    //ifEquipment
    //actionName
    //id
    //progress进行切割

    val dfDetail = ds1.map(row => {
      val urlArray = row.getAs[String]("url").split("\\?")
      var map = Map("params" -> "null")
      if (urlArray.length == 2) {
        map = urlArray(1).split("&")
          .map(x => x.split("="))
          .filter(_.length == 2)
          .map(x => (x(0), x(1)))
          .toMap
      }
      (
        row.getAs[String]("event_time"),
        row.getAs[String]("user_uip"),
        row.getAs[String]("method"),
        row.getAs[String]("status"),
        row.getAs[String]("sip"),
        map.getOrElse("actionBegin", ""),
        map.getOrElse("actionEnd", ""),
        map.getOrElse("userUID", ""),
        map.getOrElse("userSID", ""),
        map.getOrElse("userUIP", ""),
        map.getOrElse("actionClient", ""),
        map.getOrElse("actionType", ""),
        map.getOrElse("actionPrepend", ""),
        map.getOrElse("actionTest", ""),
        map.getOrElse("ifEquipment", ""),
        map.getOrElse("actionName", ""),
        map.getOrElse("progress", ""),
        map.getOrElse("id", "")

      )
    }).toDF()
//    dfDetail.show(5)

    val detailRDD = dfDetail.rdd
    val detailSchema = StructType(Array(
      StructField("event_time", StringType),
      StructField("user_uip", StringType),
      StructField("method", StringType),
      StructField("status", StringType),
      StructField("sip", StringType),
      StructField("actionBegin", StringType),
      StructField("actionEnd", StringType),
      StructField("userUID", StringType),
      StructField("userSID", StringType),
      StructField("userUIP", StringType),
      StructField("actionClient", StringType),
      StructField("actionType", StringType),
      StructField("actionPrepend", StringType),
      StructField("actionTest", StringType),
      StructField("ifEquipment", StringType),
      StructField("actionName", StringType),
      StructField("progress", StringType),
      StructField("id", StringType)
    ))

    val detailDF = spark.createDataFrame(detailRDD, detailSchema)
    detailDF.show(10)


    //    overwrite重写,append追加
    val prop = new Properties()
    prop.put("user", "root")
    prop.put("password", "******")
    prop.put("driver","com.mysql.jdbc.Driver")
    val url = "jdbc:mysql://localhost:3306/python_db"
    println("开始写入数据库")
    detailDF.write.mode("overwrite").jdbc(url,"logDetail",prop)
    println("完成写入数据库")

  }
}

UserAnaylsis.scala

package spark

import java.text.SimpleDateFormat
import java.util.Properties
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.{datediff, unix_timestamp}

object UserAnalysis {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().appName("userAnalysis").master("local").getOrCreate()
    val sc = spark.sparkContext
    val prop = new Properties()
    prop.put("user", "root")
    prop.put("password", "******")
    prop.put("driver", "com.mysql.jdbc.Driver")
    val url = "jdbc:mysql://localhost:3306/python_db"
    val dataFrame = spark.read.jdbc(url, "logdetail", prop)
    dataFrame.show(10)

    //所有的注册用户信息（userID，register_time，注册行为）
    val registerDF = dataFrame.filter(dataFrame("actionName") === ("Registered"))
      .select("userUID","event_time", "actionName")
      .withColumnRenamed("event_time","register_time")
      .withColumnRenamed("userUID","regUID")
//    registerDF.show(5)
    //原获取的日期格式为2018-09-04T20:27:31+08:00，只需要获取前10个字段（yyyy-mm-dd）
    val registDF2  = registerDF
      .select(registerDF("regUID"),registerDF("register_time")
        .substr(1,10).as("register_date"),registerDF("actionName"))
      .distinct()
//    registDF2.show(5)


    //所有的用户登录信息DF（userUID，signin_time，登录行为）
    val signinDF = dataFrame.filter(dataFrame("actionName") === ("Signin"))
      .select("userUID","event_time", "actionName")
      .withColumnRenamed("event_time","signing_time")
      .withColumnRenamed("userUID","signUID")
//    signinDF.show(5)
    val signiDF2 = signinDF
      .select(signinDF("signUID"),signinDF("signing_time")
        .substr(1,10).as("signing_date"),signinDF("actionName"))
      .distinct()
//    signiDF2.show(5)

    //以inner方式将相同userUID加在一起
    val joinDF = registDF2
      .join(signiDF2,signiDF2("signUID") === registDF2("regUID"),joinType = "inner")
//    joinDF.show(5)

    //Spark内置的datediff函数求出第n和n+1天交集总数n
    val frame = joinDF
      .filter(datediff(joinDF("signing_date"),joinDF("register_date")) === 1)
      .groupBy(joinDF("register_date")).count()
      .withColumnRenamed("count","signcount")
//    frame.show(5)

    //过滤，只拿第n天和当天新增用户总数m
    val frame1 = registDF2
      .groupBy(registDF2("register_date")).count()
      .withColumnRenamed("count","regcount")
//    frame1.show(5)

    //将m和n放在一张表格中
    val frame2 = frame
      .join(frame1,"register_date")
//    frame2.show()

    //新增列名留存率，数值为n/m,求出第n天的用户留存率
    frame2.withColumn("留存率",frame2("signcount")/frame2("regcount"))
      .show()

    sc.stop()
  }
}

Legosnow
关注
  • 24
    点赞
  • 踩
  • 106
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
spark streaming实时网站分析项目实战.rar
08-18
操作步骤： 一．数据采集：视频网站访问日志（编辑python脚本） 1.Python日志产生器开发URL ，ip信息，状态码，时间等 2.python日志产生器测试并将日志写入到文件中 3.通过定时调度工具每一分钟产生一批数据 4.使用flume实时收集日志信息 5.对接实时数据到kafka并输出到控制台 6.spark streaming对接kafka的数据进行消费 数据采集详情：项目其他\数据采集.docx 二．数据清洗：见项目 使用spark streaming完成数据清洗操作 三．数据分析：见项目 功能一： 统计到今天为止视频的访问量 yyyyMMdd courseId 使用数据库来进行存储我们的统计结果 sparkstreaming把统计结果写入到数据库里面 hbase表设计：create 'aqy_video_clickcount','info' RowKey设计：day_videoid 功能二： 统计今天到现在为止从搜索引擎引流过来的实战课程的访问量 功能1+从搜索引擎引流过来的 HBase表设计： create 'aqy_video_search_clickcount','info' rowkey设计：根据业务需求20200529+search 功能具体实现步骤： 1.数据库访问dao层方法定义 2.hbase操作工具类开发 3.将spark streaming的处理结果写到hbase中 4.映射到hive数据仓库中 四．数据可视化：见数据可视化项目
spark数据清洗练习
CarveStone的博客
02-11 4568
通过编写Spark程序清洗酒店数据里的缺失数据、非法数据、重复数据。
Spark实战-基于Spark日志清洗与数据统计以及Zeppelin使用
最新发布
m0_56525833的博客
03-07 1663
基于spark的数据清洗与统计，以及Zeppelin的配置与使用
Spark之日志数据清洗及分析（详细解说）
绿萝蔓蔓绕枝生
11-19 4198
一、日志数据清洗及分析 1、数据清洗 基本步骤： 按照Tab切割数据 过滤掉字段数量少于8个的数据 按照第一列和第二列对数据进行去重 过滤掉状态码非200的数据 过滤掉event_time为空的数据 将url按照&以及=切割 保存数据：将数据写入mysql表中 日志拆分字段： event_time url method status sip user_uip action_prepend action_client 如下是日志中的一条数据按照Tab分隔后的示例，每一行代表一个字段，分别以上一
spark数据清洗的案例
码基的博客
11-11 4653
spark数据清洗的案例基于生产实际的案例练习的内容程序结构代码 基于生产实际的案例 练习的内容 json字符串解析 ； mapPartition； 累加器； 集合的应用； 多目录压缩写入； 自定义分区； 程序结构 代码 package pers.machi.sparkRddDataCleansing import java.util import org.apache.hadoop.i...
spark三种清理数据的方式：UDF，自定义函数，spark.sql；Python中的zip()与*zip()函数详解//及python中的*args和**kwargs
sinat_26566137的博客
07-30 1235
（1）UDF的方式清理数据 import sys reload(sys) sys.setdefaultencoding('utf8') import re import json from pyspark.sql import SparkSession from pyspark.sql import Row from pyspark.sql.functions import udf fro...
大数据处理技术网页数据清洗及分词
09-18
1. 在jar包执行时，会出现ansj中的类找不到的错误，解决方法是将ansj和nlp两个包上传到hadoop节点上，然后运行程序的执行命令时加上jar包就可以了。 2. 重复运行程序的时候因为之前生成结果文件但是没有删掉，运行程序的时候出现文件已存在所以无法建立新的文件。 3. 运行时会存在classNotFound的错误，因为包名和类名错误，所以运行时的命令要把包名类名等都写对。 4. Linux上查看结果文件的时候中文是乱码，用PuTTY连接linux即可解决
spark业务开发-数据清洗
w757227129的博客
01-14 339
spark业务开发-数据清洗 项目地址:https://gitee.com/cch-bigdata/spark-process.git 输入数据 order_number,order_date,purchaser,quantity,product_id,remark 10001,2016-01-16,1001,1,102,机q器w记e录r 10003,2016-01-17,1002,2,105,人工记录 10002,2016-01-19,1002,3,106,人工补录 10004,2016-02-21,
基于Spark的数据清洗与转换
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-04 4574
掌握数据整合、数据清洗和数据转换方法。1、整合来自不同数据源的数据。   2、对数据进行清洗。   3、对数据进行转换。数据质量一直是业界普遍存在的问题。不正确或不一致的数据的存在可能会对分析产生误导。90%的时间，数据科学家们并非花时间在建立炫酷的模型上，而是花在数据准备上。做任何分析，最难也最花时间的部分都在数据准备。有一个行业术语叫做“数据工程”，指的是数据的来源和准备。   数据准备阶段是一个非常重要的阶段，不仅对于算法来说是正确的，而且还可以让我们更好地理解我们的数据，这样我们就可以在实现算法的同
Spark数据清洗案例
qq_43414681的博客
04-20 5483
读完本篇你将收获 如何利用spark读取csv文件,并设置灵活的参数 spark dataframe和rdd的转换 spark 如何写到mysql内 熟悉java正则 熟悉日期类 spark 常见算子 查看原数据格式(51job上的数据) job_id,job_name,job_price,job_url,job_time,job_place,job_edu,job_exp,job_well,company_name,company_type,company_mag,company_genre 1311
Spark- 数据清洗
weixin_34409822的博客
05-07 1067
输入输出转化工具类 package com.rz.mobile_tag.log import org.apache.spark.sql.Row import org.apache.spark.sql.types.{LongType, StringType, StructField, StructType} /** * 访问日志转换（输入==>输出）工具...
基于Spark的机器学习-智能客户系统项目实战
05-10
整个项目基本思路是如何通过爬虫爬取大量数据放到Hbase，然后通过ETL工具初步转化筛选将数据存到mongodb，抽取mongodb的数据进行清洗处理算出模型放到hdfs。后续进来数据通过模型运算出数据的类型。项目系统主要包括...
SparkCore项目实战数据集.txt
05-17
这个文件中的数据是我的博客中SparkCore之项目实战中用到的数据集，数据集是电商中真实的数据进行一定程度的数据清洗得到的。
Spark-Streaming+HDFS实战
12-16
需求说明：从GBIF接口获取数据... - 对获取的数据进行必要的转换、清洗和处理，以满足需求。 - 将处理后的数据保存到HDFS文件系统。 ## 4. HDFS文件保存： - 使用Spark Streaming将处理后的数据保存到HDFS文件系统。
大数据防爬虫项目开发实战
07-14
3.实现数据预处理的数据清洗、脱敏、拆分、分类（⻜⾏类型/操作类型，单程/往返）、解析等功能 4.实现数据预处理的数据历史爬⾍、结构化、数据推送、数据预处理监控、前端读取后端数据等功能 5.读取预处理后的数据、...
Spark中利用Scala进行数据清洗（代码）
dianhe8193的博客
05-07 2518
2019-05-07 18:56:18 1　　package com.amoscloud.log.analyze 2 3 import java.text.SimpleDateFormat 4 import java.util.Date 5 6 import org.apache.spark.rdd.RDD 7 import org.apache.spar...
Spark应用之日志数据清洗--实例解析
我玩的很开心的博客
09-20 4325
Spark应用之日志数据清洗一、日志数据二、准备工作三、数据清洗3.1 清洗数据 user.csv3.2 清洗数据 event.csv3.3 清洗数据 user_friends.csv 一、日志数据 日志数据： 下载链接:events 提取码: ngs3 二、准备工作 下载日志数据 将下载的日志数据上传至 hdfs：/eventData 文件夹 linux 启动spark，spark安装根目录输入：sbin/start-all.sh 为了方便展示，使用Zeppelin插件,导入spark sql 相
Spark_shell数据清洗案例
cai_and_luo的博客
06-29 1299
spark数据清洗案例 本文的目的是模拟公司的实际数据清洗 数据来源是我自己用java代码模拟的，模拟代码及数据文件会上传至scdn，可以自由下载 本文的数据格式如下（en事件名称有四种类型） 将本地文件上传至sparkRDD scala> val optionRDD=sc.textFile("/opt/tmp/logs/op.log") optionRDD: org.apache.spark.rdd.RDD[String] = /opt/tmp/logs/op.log MapPartiti
ETL实践--Spark做数据清洗
weixin_30273763的博客
01-15 1410
ETL实践--Spark做数据清洗 上篇博客，说的是用hive代替kettle的表关联。是为了提高效率。 本文要说的spark就不光是为了效率的问题。 1、用spark的原因 （如果是一个sql能搞定的关联操作，可以直接用kettle导原始数据到hive，用hive视图做关联直接给kylin提供数据） (1)、场景一之前用kettle需要多个转换、关联才能实现数据...
汽车销售Spark数据处理和数据分析项目实战Dataframe
06-10
好的，这是一个比较具体的实战项目，需要综合运用 Spark 中的 DataFrame API 进行数据处理和分析。下面是具体的步骤： 1. 准备数据源 将汽车销售数据存储在 HDFS 或者本地文件系统中，可以使用 SparkSession 对象的 read 方法读取数据，比如： ```python from pyspark.sql import SparkSession spark = SparkSession.builder.appName("CarSalesAnalysis").getOrCreate() sales_data = spark.read.csv("path/to/car_sales_data.csv", header=True, inferSchema=True) ``` 2. 数据清洗和预处理 使用 DataFrame API 中的各种函数和操作符，对数据进行清洗和预处理，比如使用 dropDuplicates 方法去重，使用 na.fill 方法填充缺失值，使用 withColumnRenamed 方法重命名列名等。 ```python # 去重 sales_data = sales_data.dropDuplicates() # 填充缺失值 sales_data = sales_data.na.fill(0, subset=["sales", "quantity"]) # 重命名列名 sales_data = sales_data.withColumnRenamed("carType", "car_type").withColumnRenamed("saleDate", "sale_date") ``` 3. 数据分析 3.1 总体销售情况分析 使用 DataFrame API 中的 count、sum、avg、max、min 等函数，对销售数据进行总体分析，比如： ```python # 统计总销售额和总销量 total_sales = sales_data.selectExpr("sum(sales) as total_sales").collect()[0][0] total_quantity = sales_data.selectExpr("sum(quantity) as total_quantity").collect()[0][0] # 统计平均销售额和平均销量 avg_sales = sales_data.selectExpr("avg(sales) as avg_sales").collect()[0][0] avg_quantity = sales_data.selectExpr("avg(quantity) as avg_quantity").collect()[0][0] # 统计最大销售额和最小销售额 max_sales = sales_data.selectExpr("max(sales) as max_sales").collect()[0][0] min_sales = sales_data.selectExpr("min(sales) as min_sales").collect()[0][0] ``` 3.2 不同车型销售情况分析 使用 DataFrame API 中的 groupBy、sum、count、avg、max、min 等函数，对不同车型的销售情况进行分析，比如： ```python # 统计不同车型的销售额和销量 sales_by_car_type = sales_data.groupBy("car_type").agg({"sales": "sum", "quantity": "sum"}) # 统计不同车型的平均销售额和平均销量 avg_sales_by_car_type = sales_data.groupBy("car_type").agg({"sales": "avg", "quantity": "avg"}) # 统计不同车型的最大销售额和最小销售额 max_min_sales_by_car_type = sales_data.groupBy("car_type").agg({"sales": "max", "sales": "min"}) ``` 3.3 不同区域销售情况分析 使用 DataFrame API 中的 groupBy、sum、count、avg、max、min 等函数，对不同区域的销售情况进行分析，比如： ```python # 统计不同城市的销售额和销量 sales_by_city = sales_data.groupBy("city").agg({"sales": "sum", "quantity": "sum"}) # 统计不同城市的平均销售额和平均销量 avg_sales_by_city = sales_data.groupBy("city").agg({"sales": "avg", "quantity": "avg"}) # 统计不同城市的最大销售额和最小销售额 max_min_sales_by_city = sales_data.groupBy("city").agg({"sales": "max", "sales": "min"}) ``` 3.4 汽车销售趋势分析 使用 DataFrame API 中的 groupBy、sum、count、avg、max、min 等函数，对汽车销售的时间趋势进行分析，比如： ```python # 统计每个月份的销售额和销量 sales_by_month = sales_data.groupBy("month").agg({"sales": "sum", "quantity": "sum"}) # 统计每年的销售额和销量 sales_by_year = sales_data.groupBy("year").agg({"sales": "sum", "quantity": "sum"}) ``` 4. 结果保存 将分析结果保存到 HDFS 或者本地文件系统中，可以使用 DataFrame API 中的 write 方法，比如： ```python sales_by_car_type.write.csv("path/to/sales_by_car_type.csv", header=True) ``` 这样就完成了汽车销售Spark数据处理和数据分析项目的实战。当然，具体的实现还需要根据实际情况进行调整和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值