Spark项目实战-数据清洗

已于 2022-04-14 14:34:17 修改
阅读量1.4w 收藏 119
点赞数 26
CC 4.0 BY-SA版权
文章标签： spark
于 2022-04-14 14:30:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Legosnow/article/details/124169161

日志文件：https://pan.baidu.com/s/1Eve8GmGi21JLV70fqJjmQw 
提取码：3xsp

使用工具：IDEA Maven

使用Spark完成数据清洗和日用户留存分析：

目录

1.搭建环境

2.数据清洗

3.用户日留存分析

4.源代码：

1.搭建环境

配置pom.xml

    <repositories>
        <repository>
            <id>aliyunmaven</id>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        </repository>
        <repository>
            <id>spring-milestones</id>
            <name>Spring Milestones</name>
            <url>https://repo.spring.io/milestone</url>
        </repository>
    </repositories>
    <dependencies>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.13</artifactId>
            <version>3.2.1</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/junit/junit -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.13.2</version>
            <scope>test</scope>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.scala-lang/scala-library -->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.13.8</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.13</artifactId>
            <version>3.2.1</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.13</artifactId>
            <version>3.2.1</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.28</version>
        </dependency>
    </dependencies>

下载Scala插件：

file->setting->plugins

2.数据清洗

可以通过SparkSql中DataFrame的数据抽象，将数据存放在Mysql中，整个日志的RDD格式走向变化过程可理解为：

RDD[String]->RDD[Array[String]]->RDD[Row]->DataFrame->存入Mysql

在数据清洗前，需要了解Web日志的规格设置，本日志数据与数据之间是通过"\t"也就是Tab键位分隔开的，下面是一条常规的Web日志，其规格如下

event_time = 2018-09-04T20:27:31+08:00	
url = http://datacenter.bdqn.cn/logs/user?actionBegin=1536150451540&actionClient=Mozilla%2F5.0+%28Windows+NT+10.0%3B+WOW64%29+AppleWebKit%2F537.36+%28KHTML%2C+like+Gecko%29+Chrome%2F58.0.3029.110+Safari%2F537.36+SE+2.X+MetaSr+1.0&actionEnd=1536150451668&actionName=startEval&actionTest=0&actionType=3&actionValue=272090&clientType=001_kgc&examType=001&ifEquipment=web&isFromContinue=false&skillIdCount=0&skillLevel=0&testType=jineng&userSID=B842B843AE317425D53D0C567A903EF7.exam-tomcat-node3.exam-tomcat-node3&userUID=272090&userUIP=1.180.18.157	
method = GET	
status = 200	
sip = 192.168.168.64	
user_uip = -	
action_prepend = -	
action_client = Apache-HttpClient/4.1.2 (java 1.5)

1)将RDD[String]转换为RDD[Row]的形式,并且过滤字段数少于8的日志

    val linesRDD = sc.textFile("C:/Users/Lenovo/Desktop/Working/Python/data/test.log")
    import spark.implicits._    

    val line1 = linesRDD.map(x => x.split("\t"))
        //line1.foreach(println)
    val rdd = line1
      .filter(x => x.length == 8)
      .map(x => Row(x(0).trim, x(1).trim, x(2).trim, x(3).trim, x(4).trim, x(5).trim, x(6).trim, x(7).trim))
        //rdd.foreach(println)

2)将RDD[Row]转换为DataFrame，建立初步映射关系

//    建立RDD和表格的映射关系
    val schema = StructType(Array(
      StructField("event_time", StringType),
      StructField("url", StringType),
      StructField("method", StringType),
      StructField("status", StringType),
      StructField("sip", StringType),
      StructField("user_uip", StringType),
      StructField("action_prepend", StringType),
      StructField("action_client", StringType)
    ))
    val orgDF = spark.createDataFrame(rdd, schema)
    //    orgDF.show(5)

3)将url按照"&"和"="切割字段

//去重，过滤掉状态码非200，过滤时间为空
    //distinct是根据每一条数据进行完整内容的比对和去重，dropDuplicates可以根据指定的字段进行去重。
    val ds1 = orgDF.dropDuplicates("event_time", "url")
      .filter(x => x(3) == "200")
      .filter(x => StringUtils.isNotEmpty(x(0).toString))

    //将url按照"&"和"="切割
    //userSID
    //userUIP
    //actionClient
    //actionBegin
    //actionEnd
    //actionType
    //actionPrepend
    //actionTest
    //ifEquipment
    //actionName
    //id
    //progress进行切割

    //以map的形式建立内部映射关系
    val dfDetail = ds1.map(row => {
      val urlArray = row.getAs[String]("url").split("\\?")
      var map = Map("params" -> "null")
      if (urlArray.length == 2) {
        map = urlArray(1).split("&")
          .map(x => x.split("="))
          .filter(_.length == 2)
          .map(x => (x(0), x(1)))
          .toMap
      }
      (
        //map为url中字段，row为原DataFrame字段
        row.getAs[String]("event_time"),
        row.getAs[String]("user_uip"),
        row.getAs[String]("method"),
        row.getAs[String]("status"),
        row.getAs[String]("sip")，
        map.getOrElse("actionBegin", ""),
        map.getOrElse("actionEnd", ""),
        map.getOrElse("userUID", ""),
        map.getOrElse("userSID", ""),
        map.getOrElse("userUIP", ""),
        map.getOrElse("actionClient", ""),
        map.getOrElse("actionType", ""),
        map.getOrElse("actionPrepend", ""),
        map.getOrElse("actionTest", ""),
        map.getOrElse("ifEquipment", ""),
        map.getOrElse("actionName", ""),
        map.getOrElse("progress", ""),
        map.getOrElse("id", "")
      )
    }).toDF()
//    dfDetail.show(5)

4)重新组建表头，将原DataFrame数据全部平摊,并存入数据库

val detailRDD = dfDetail.rdd
    val detailSchema = StructType(Array(
      StructField("event_time", StringType),
      StructField("user_uip", StringType),
      StructField("method", StringType),
      StructField("status", StringType),
      StructField("sip", StringType),
      StructField("actionBegin", StringType),
      StructField("actionEnd", StringType),
      StructField("userUID", StringType),
      StructField("userSID", StringType),
      StructField("userUIP", StringType),
      StructField("actionClient", StringType),
      StructField("actionType", StringType),
      StructField("actionPrepend", StringType),
      StructField("actionTest", StringType),
      StructField("ifEquipment", StringType),
      StructField("actionName", StringType),
      StructField("progress", StringType),
      StructField("id", StringType)
    ))

    val detailDF = spark.createDataFrame(detailRDD, detailSchema)

    //    overwrite重写,append追加
    val prop = new Properties()
    prop.put("user", "root")
    prop.put("password", "******")
    prop.put("driver","com.mysql.jdbc.Driver")
    val url = "jdbc:mysql://localhost:3306/python_db"
    println("开始写入数据库")
    detailDF.write.mode("overwrite").jdbc(url,"logDetail",prop)
    println("完成写入数据库")

3.用户日留存分析

  1. 求出第n天的新增用户总数m
  2. 求出第n+1天登录与n天新增用户的交集的总数n
  3. 留存率=n/m*100%

1)求出注册和登录行为的数据表

 val prop = new Properties()
    prop.put("user", "root")
    prop.put("password", "******")
    prop.put("driver", "com.mysql.jdbc.Driver")
    val url = "jdbc:mysql://localhost:3306/python_db"
    val dataFrame = spark.read.jdbc(url, "logdetail", prop)

    //所有的注册用户信息（userID，register_time，注册行为）
    val registerDF = dataFrame
      .filter(dataFrame("actionName") === ("Registered"))
      .select("userUID","event_time", "actionName")
      .withColumnRenamed("event_time","register_time")
      .withColumnRenamed("userUID","regUID")
//    registerDF.show(5)
    //原获取的日期格式为2018-09-04T20:27:31+08:00，只需要获取前10个字段（yyyy-mm-dd）
    val registDF2  = registerDF
      .select(registerDF("regUID"),registerDF("register_time")
        .substr(1,10).as("register_date"),registerDF("actionName"))
      .distinct()
//    registDF2.show(5)


    //所有的用户登录信息DF（userUID，signin_time，登录行为）
    val signinDF = dataFrame.filter(dataFrame("actionName") === ("Signin"))
      .select("userUID","event_time", "actionName")
      .withColumnRenamed("event_time","signing_time")
      .withColumnRenamed("userUID","signUID")
//    signinDF.show(5)
    val signiDF2 = signinDF
      .select(signinDF("signUID"),signinDF("signing_time")
        .substr(1,10).as("signing_date"),signinDF("actionName"))
      .distinct()
//    signiDF2.show(5)

2)求出第n和n+1天的交集总数n，第n天新增用户数m

//以inner方式将相同userUID加在一起
    val joinDF = registDF2
      .join(signiDF2,signiDF2("signUID") === registDF2("regUID"),joinType = "inner")
//    joinDF.show(5)

    //Spark内置的datediff函数求出第n和n+1天交集总数n
    val frame = joinDF
      .filter(datediff(joinDF("signing_date"),joinDF("register_date")) === 1)
      .groupBy(joinDF("register_date")).count()
      .withColumnRenamed("count","signcount")
//    frame.show(5)

    //过滤，只拿第n天和当天新增用户总数m
    val frame1 = registDF2
      .groupBy(registDF2("register_date")).count()
      .withColumnRenamed("count","regcount")
//    frame1.show(5)

3）留存率=n/m*100%

  //将m和n放在一张表格中
    val frame2 = frame
      .join(frame1,"register_date")
    frame2.show()

    //新增列名留存率，数值为n/m,求出第n天的用户留存率
    frame2.withColumn("留存率",frame2("signcount")/frame2("regcount"))
      .show()

 

4.源代码：

DataClear.scala

package spark

import org.apache.commons.lang.StringUtils
import org.apache.spark.sql.types.{StringType, StructField, StructType}
import org.apache.spark.sql.{Row, SparkSession}
import java.util.Properties

object DataClear {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().master("local[1]").appName("DataClear").getOrCreate()
    val sc = spark.sparkContext
    val linesRDD = sc.textFile("C:/Users/Lenovo/Desktop/Working/Python/data/test.log")
    import spark.implicits._
    val line1 = linesRDD.map(x => x.split("\t"))
        //line1.foreach(println)
    val rdd = line1
      .filter(x => x.length == 8)
      .map(x => Row(x(0).trim, x(1).trim, x(2).trim, x(3).trim, x(4).trim, x(5).trim, x(6).trim, x(7).trim))
        //rdd.foreach(println)

    //    建立RDD和表格的映射关系
    val schema = StructType(Array(
      StructField("event_time", StringType),
      StructField("url", StringType),
      StructField("method", StringType),
      StructField("status", StringType),
      StructField("sip", StringType),
      StructField("user_uip", StringType),
      StructField("action_prepend", StringType),
      StructField("action_client", StringType)
    ))
    val orgDF = spark.createDataFrame(rdd, schema)
    //    orgDF.show(5)

    //去重，过滤掉状态码非200，过滤时间为空
    //distinct是根据每一条数据进行完整内容的比对和去重，dropDuplicates可以根据指定的字段进行去重。
    val ds1 = orgDF.dropDuplicates("event_time", "url")
      .filter(x => x(3) == "200")
      .filter(x => StringUtils.isNotEmpty(x(0).toString))

    //将url按照"&"以及"="切割，即按照userUID
    //userSID
    //userUIP
    //actionClient
    //actionBegin
    //actionEnd
    //actionType
    //actionPrepend
    //actionTest
    //ifEquipment
    //actionName
    //id
    //progress进行切割

    val dfDetail = ds1.map(row => {
      val urlArray = row.getAs[String]("url").split("\\?")
      var map = Map("params" -> "null")
      if (urlArray.length == 2) {
        map = urlArray(1).split("&")
          .map(x => x.split("="))
          .filter(_.length == 2)
          .map(x => (x(0), x(1)))
          .toMap
      }
      (
        row.getAs[String]("event_time"),
        row.getAs[String]("user_uip"),
        row.getAs[String]("method"),
        row.getAs[String]("status"),
        row.getAs[String]("sip"),
        map.getOrElse("actionBegin", ""),
        map.getOrElse("actionEnd", ""),
        map.getOrElse("userUID", ""),
        map.getOrElse("userSID", ""),
        map.getOrElse("userUIP", ""),
        map.getOrElse("actionClient", ""),
        map.getOrElse("actionType", ""),
        map.getOrElse("actionPrepend", ""),
        map.getOrElse("actionTest", ""),
        map.getOrElse("ifEquipment", ""),
        map.getOrElse("actionName", ""),
        map.getOrElse("progress", ""),
        map.getOrElse("id", "")

      )
    }).toDF()
//    dfDetail.show(5)

    val detailRDD = dfDetail.rdd
    val detailSchema = StructType(Array(
      StructField("event_time", StringType),
      StructField("user_uip", StringType),
      StructField("method", StringType),
      StructField("status", StringType),
      StructField("sip", StringType),
      StructField("actionBegin", StringType),
      StructField("actionEnd", StringType),
      StructField("userUID", StringType),
      StructField("userSID", StringType),
      StructField("userUIP", StringType),
      StructField("actionClient", StringType),
      StructField("actionType", StringType),
      StructField("actionPrepend", StringType),
      StructField("actionTest", StringType),
      StructField("ifEquipment", StringType),
      StructField("actionName", StringType),
      StructField("progress", StringType),
      StructField("id", StringType)
    ))

    val detailDF = spark.createDataFrame(detailRDD, detailSchema)
    detailDF.show(10)


    //    overwrite重写,append追加
    val prop = new Properties()
    prop.put("user", "root")
    prop.put("password", "******")
    prop.put("driver","com.mysql.jdbc.Driver")
    val url = "jdbc:mysql://localhost:3306/python_db"
    println("开始写入数据库")
    detailDF.write.mode("overwrite").jdbc(url,"logDetail",prop)
    println("完成写入数据库")

  }
}

UserAnaylsis.scala

package spark

import java.text.SimpleDateFormat
import java.util.Properties
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.{datediff, unix_timestamp}

object UserAnalysis {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().appName("userAnalysis").master("local").getOrCreate()
    val sc = spark.sparkContext
    val prop = new Properties()
    prop.put("user", "root")
    prop.put("password", "******")
    prop.put("driver", "com.mysql.jdbc.Driver")
    val url = "jdbc:mysql://localhost:3306/python_db"
    val dataFrame = spark.read.jdbc(url, "logdetail", prop)
    dataFrame.show(10)

    //所有的注册用户信息（userID，register_time，注册行为）
    val registerDF = dataFrame.filter(dataFrame("actionName") === ("Registered"))
      .select("userUID","event_time", "actionName")
      .withColumnRenamed("event_time","register_time")
      .withColumnRenamed("userUID","regUID")
//    registerDF.show(5)
    //原获取的日期格式为2018-09-04T20:27:31+08:00，只需要获取前10个字段（yyyy-mm-dd）
    val registDF2  = registerDF
      .select(registerDF("regUID"),registerDF("register_time")
        .substr(1,10).as("register_date"),registerDF("actionName"))
      .distinct()
//    registDF2.show(5)


    //所有的用户登录信息DF（userUID，signin_time，登录行为）
    val signinDF = dataFrame.filter(dataFrame("actionName") === ("Signin"))
      .select("userUID","event_time", "actionName")
      .withColumnRenamed("event_time","signing_time")
      .withColumnRenamed("userUID","signUID")
//    signinDF.show(5)
    val signiDF2 = signinDF
      .select(signinDF("signUID"),signinDF("signing_time")
        .substr(1,10).as("signing_date"),signinDF("actionName"))
      .distinct()
//    signiDF2.show(5)

    //以inner方式将相同userUID加在一起
    val joinDF = registDF2
      .join(signiDF2,signiDF2("signUID") === registDF2("regUID"),joinType = "inner")
//    joinDF.show(5)

    //Spark内置的datediff函数求出第n和n+1天交集总数n
    val frame = joinDF
      .filter(datediff(joinDF("signing_date"),joinDF("register_date")) === 1)
      .groupBy(joinDF("register_date")).count()
      .withColumnRenamed("count","signcount")
//    frame.show(5)

    //过滤，只拿第n天和当天新增用户总数m
    val frame1 = registDF2
      .groupBy(registDF2("register_date")).count()
      .withColumnRenamed("count","regcount")
//    frame1.show(5)

    //将m和n放在一张表格中
    val frame2 = frame
      .join(frame1,"register_date")
//    frame2.show()

    //新增列名留存率，数值为n/m,求出第n天的用户留存率
    frame2.withColumn("留存率",frame2("signcount")/frame2("regcount"))
      .show()

    sc.stop()
  }
}

Legosnow
关注
基于Spark的数据清洗与转换
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-04 5505
掌握数据整合、数据清洗和数据转换方法。1、整合来自不同数据源的数据。   2、对数据进行清洗。   3、对数据进行转换。数据质量一直是业界普遍存在的问题。不正确或不一致的数据的存在可能会对分析产生误导。90%的时间，数据科学家们并非花时间在建立炫酷的模型上，而是花在数据准备上。做任何分析，最难也最花时间的部分都在数据准备。有一个行业术语叫做“数据工程”，指的是数据的来源和准备。   数据准备阶段是一个非常重要的阶段，不仅对于算法来说是正确的，而且还可以让我们更好地理解我们的数据，这样我们就可以在实现算法的同
spark项目实战-电商分析平台
热门推荐
lukabruce的博客
03-25 1万+
第1章 项目概述 电商分析平台是对用户访问电商平台的行为进行分析。 1.1 项目简介   本项目主要讲解一个大型电商网站后台的企业级大数据统计分析平台，该平台以 Spark 为主，对电商网站的流量进行离线和实时的分析。   该大数据分析平台对电商网站的各类用户行为（访问行为、购物行为、广告点击行为等）进行复杂的分析。用统计分析出来的数据，辅助公司中的 PM（产品经理）、数据分析师以及管理人员分析现有产品的状况，并根据用户行为分析结果持续改进产品的设计，以及调整公司的战略和业务。最终达到用大数...
Spark 数据清洗
jukuya的博客
03-21 537
Apache Spark 是一个快速通用的集群计算系统，它提供了高效的数据处理能力，支持多种编程语言，如 Java、Python、Scala 等。Spark 具有弹性分布式数据集（RDD）、数据集（Dataset）和数据框（DataFrame）等核心抽象，能够在集群环境中并行处理大规模数据。通过以上示例，我们展示了如何使用 Java 结合 Spark 进行常见的数据清洗操作，包括缺失值处理、重复值处理、异常值处理和数据类型转换等。
Spark，数据清洗
2402_87076376的博客
05-16 659
eg：如下姓名+年龄+性别 而数据中我们可明显看到第2,7行数据是错误的，现在我们把它洗掉。coalesce(1)这个方法可以让结果全部保存在一个文件中。运行结果：可以看到“脏”数据已经被洗出去了。如何把清洗之后的数据保存到一个文件中？先创建一个文档然后写几条数据。
Spark应用之日志数据清洗--实例解析
我玩的很开心的博客
09-20 5132
Spark应用之日志数据清洗一、日志数据二、准备工作三、数据清洗3.1 清洗数据 user.csv3.2 清洗数据 event.csv3.3 清洗数据 user_friends.csv 一、日志数据 日志数据： 下载链接:events 提取码: ngs3 二、准备工作 下载日志数据 将下载的日志数据上传至 hdfs：/eventData 文件夹 linux 启动spark，spark安装根目录输入：sbin/start-all.sh 为了方便展示，使用Zeppelin插件,导入spark sql 相
spark业务开发-数据清洗
w757227129的博客
01-14 404
spark业务开发-数据清洗 项目地址:https://gitee.com/cch-bigdata/spark-process.git 输入数据 order_number,order_date,purchaser,quantity,product_id,remark 10001,2016-01-16,1001,1,102,机q器w记e录r 10003,2016-01-17,1002,2,105,人工记录 10002,2016-01-19,1002,3,106,人工补录 10004,2016-02-21,
Spark数据清洗案例
qq_43414681的博客
04-20 5867
读完本篇你将收获 如何利用spark读取csv文件,并设置灵活的参数 spark dataframe和rdd的转换 spark 如何写到mysql内 熟悉java正则 熟悉日期类 spark 常见算子 查看原数据格式(51job上的数据) job_id,job_name,job_price,job_url,job_time,job_place,job_edu,job_exp,job_well,company_name,company_type,company_mag,company_genre 1311
spark数据清洗的案例
码基的博客
11-11 4864
spark数据清洗的案例基于生产实际的案例练习的内容程序结构代码 基于生产实际的案例 练习的内容 json字符串解析 ； mapPartition； 累加器； 集合的应用； 多目录压缩写入； 自定义分区； 程序结构 代码 package pers.machi.sparkRddDataCleansing import java.util import org.apache.hadoop.i...
学习Spark的数据清洗与预处理
AI天才研究院
01-25 1821
1.背景介绍 数据清洗和预处理是数据科学和机器学习的基础，它们有助于提高模型的准确性和性能。在大数据领域，Apache Spark是一个流行的分布式计算框架，它可以处理大量数据并提供高性能的数据处理能力。在本文中，我们将探讨如何使用Spark进行数据清洗和预处理。 1. 背景介绍 数据清洗和预处理是指对原始数据进行清理、转换和准备，以便于后续的数据分析和机器学习任务。数据清洗包括删除冗余数据...
头歌-企业Spark案例--酒店数据分析实战
bzzb52的博客
05-05 1780
【代码】头歌-企业Spark案例--酒店数据分析实战。
企业Spark案例--酒店数据分析实战提交
05-25 3215
第1关：数据清洗--过滤字段长度不足的且将出生日期转： packagecom.yy importorg.apache.spark.rdd.RDD importorg.apache.spark.sql.{DataFrame,Dataset,SparkSession} objectedu{ /**********Begin**********/ //此处可填写相关代码 caseclassPerson(id:String,Name:String,...
数仓项目实战-网站点击流数据分析项目
03-11
2. 数据预处理：原始点击流数据可能存在缺失值、重复值或异常值，需要进行数据清洗，确保数据质量。此外，可能还需要对数据进行标准化、编码转换，以便后续分析。 3. 离线数据仓库：离线数仓主要用于批量处理大量...
第十九章：项目实战-目标追踪.zip
01-16
这可能涵盖数据清洗、特征工程、时间序列分析等步骤，以便从原始数据中提取有价值的信息。同时，可能还涉及到了实时数据分析技术，如Apache Kafka或Spark Streaming，用于处理实时流数据，确保目标追踪的即时性。 ...
Spark- 数据清洗
weixin_34409822的博客
05-07 1146
输入输出转化工具类 package com.rz.mobile_tag.log import org.apache.spark.sql.Row import org.apache.spark.sql.types.{LongType, StringType, StructField, StructType} /** * 访问日志转换（输入==>输出）工具...
spark数据清洗练习
CarveStone的博客
02-11 4870
通过编写Spark程序清洗酒店数据里的缺失数据、非法数据、重复数据。
Spark_shell数据清洗案例
cai_and_luo的博客
06-29 1428
spark数据清洗案例 本文的目的是模拟公司的实际数据清洗 数据来源是我自己用java代码模拟的，模拟代码及数据文件会上传至scdn，可以自由下载 本文的数据格式如下（en事件名称有四种类型） 将本地文件上传至sparkRDD scala> val optionRDD=sc.textFile("/opt/tmp/logs/op.log") optionRDD: org.apache.spark.rdd.RDD[String] = /opt/tmp/logs/op.log MapPartiti
ETL实践--Spark做数据清洗
weixin_30273763的博客
01-15 1496
ETL实践--Spark做数据清洗 上篇博客，说的是用hive代替kettle的表关联。是为了提高效率。 本文要说的spark就不光是为了效率的问题。 1、用spark的原因 （如果是一个sql能搞定的关联操作，可以直接用kettle导原始数据到hive，用hive视图做关联直接给kylin提供数据） (1)、场景一之前用kettle需要多个转换、关联才能实现数据...
Spark中利用Scala进行数据清洗（代码）
dianhe8193的博客
05-07 2713
2019-05-07 18:56:18 1　　package com.amoscloud.log.analyze 2 3 import java.text.SimpleDateFormat 4 import java.util.Date 5 6 import org.apache.spark.rdd.RDD 7 import org.apache.spar...
使用Spark进行高效数据清洗与预处理
AI天才研究院
01-28 2738
1.背景介绍 在大数据时代，数据清洗和预处理是数据分析和机器学习的关键环节。Apache Spark作为一个高性能、易用的大数据处理框架，可以帮助我们更高效地进行数据清洗和预处理。本文将从以下几个方面进行阐述： 背景介绍 核心概念与联系 核心算法原理和具体操作步骤以及数学模型公式详细讲解 具体最佳实践：代码实例和详细解释说明 实际应用场景 工具和资源推荐 总结：未来发展趋势与挑战 附录：常见...
企业Spark案例--酒店数据分析实战
最新发布
06-04
### 使用Spark进行酒店数据分析的企业实战案例 在企业实践中，使用Spark进行酒店数据分析的案例并不少见。以下是一个基于提供的引用内容以及相关知识的详细分析。 #### 1. 酒店数据分析与推荐系统 一个典型的案例是基于PySpark的大规模酒店数据分析与推荐系统[^2]。该系统通过抓取和处理酒店的历史数据，对价格、评分、类型和城市等多个维度进行了深入分析。通过对这些数据的清洗和预处理，系统能够揭示市场趋势，并为后续决策提供支持。例如，探索性分析揭示了价格波动、评分分布和用户偏好等关键信息。 #### 2. 数据处理与机器学习结合 在数据处理阶段，系统利用PySpark的强大功能对大规模数据进行高效处理。同时，结合机器学习算法（如协同过滤）进行个性化推荐[^2]。这种技术组合不仅提升了用户体验，还帮助酒店行业更好地理解客户需求，优化营销策略。 #### 3. 数据可视化 为了使分析结果更加直观，系统采用了ECharts进行数据可视化[^2]。通过生成酒店价格、评分和类型的图表，以及词云图，用户可以快速了解市场表现和客户关注热点。这种可视化的呈现方式对于非技术背景的业务人员尤为重要。 #### 4. Spark运行架构与原理 从技术角度来看，Spark的运行架构和原理为其在酒店数据分析中的应用提供了坚实基础[^3]。Spark Core的任务划分与调度机制确保了大规模数据处理的高效性，而RDD、DataFrame和Dataset等数据抽象模块则简化了数据操作流程。此外，Cluster Manager和DAG调度器的工作原理进一步优化了资源管理和任务执行效率。 #### 5. 实战经验分享 在实际项目中，企业通常会遇到数据质量问题、性能瓶颈和技术选型挑战。以下是一些实践经验： - **数据质量**：确保数据的准确性和一致性是数据分析成功的关键。可以通过数据清洗和预处理步骤来解决这些问题。 - **性能优化**：针对大规模数据集，合理配置Spark参数（如分区数、内存分配）可以显著提升性能。 - **技术选型**：根据具体需求选择合适的工具和技术栈。例如，PySpark适合Python开发者，而Scala更适合需要高性能的场景。 ```python # 示例代码：使用PySpark进行酒店数据处理 from pyspark.sql import SparkSession # 初始化SparkSession spark = SparkSession.builder.appName("HotelDataAnalysis").getOrCreate() # 加载酒店数据 hotel_data = spark.read.csv("hotel_data.csv", header=True, inferSchema=True) # 数据清洗与预处理 cleaned_data = hotel_data.filter(hotel_data.price > 0).na.drop() # 基本统计分析 price_stats = cleaned_data.selectExpr("avg(price) as avg_price", "stddev(price) as std_price") # 输出结果 price_stats.show() ``` ### 结论 通过上述案例可以看出，Spark在酒店数据分析领域具有广泛的应用前景。它不仅能够高效处理大规模数据，还能结合机器学习算法实现个性化推荐，为企业决策提供有力支持。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值