一零四三、Spark数据清洗 模块C：数据清洗与挖掘分析(2)_spark大数据清洗框架(1)

数据的维数是指数据具有的特征数量，数据特征矩阵过大， 将导致计算量比较大，训练时间长的等问题。当数据存在冗余属性时，对多余属性剔除的过程，称为“数据降维”。降维的好处十分明显，它不仅可以数据减少对内存的占用，还能够加快学习算法的执行与收敛。请根据任务具体要求，针对原始数据集中可能存在的冗余属性进行排查，复制并保存结果。

任务描述：

请使用子任务1的结果数据作为数据源，判断属性“申请时间”、“创建时间”与“created_at”、“updated_at”是否为重复属性。请按照如下要求编写Spark程序对数据进行清洗，并将结果输出/diliveryoutput2(将分区数设置为1)。

1. 分析数据文件

2. 排除属性列“申请时间”、“创建时间”与“created_at”、“updated_at”是否为重复属性

3. 程序打包并在Spark平台运行

具体任务要求：

1、利用/diliveryoutput1作为源数据,使用hadoop shell命令查看数据集条数，请将查看命令及结果复制并粘贴至对应报告中。

2、如果仅考虑年、月、日数据，忽略时刻信息，“申请时间”、“创建时间”与“created_at”、“updated_at”是否为重复属性？请编写Spark程序，并在程序中以打印语句输出两对属性对应相等的数据条数。将打印输出结果以及你的结论复制并粘贴至对应报告中。（复制内容需包含打印语句输出结果的上下各 5 行运行日志）。

示例格式：

=两组属性同时相等的数据条数为***条=

结论：“申请时间”、“创建时间”与“created_at”、“updated_at”（是/不是）重复属性。

如果数据相等的比例超过原始数据集的90%，则剔除属性“created_at”与“updated_at”， 并将结果数据集json文件保存至/diliveryoutput2。

package eat


import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.{DataFrame, SparkSession}


object two {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession.builder().master("local[6]").appName("two").config("spark.sql.warehouse.dir", "C:/").getOrCreate()
    Logger.getLogger("org").setLevel(Level.ERROR)

    val datas: DataFrame = spark.read.json("data/output/diliveryoutput1")

    //    val data: RDD[Row] = datas.rdd
    //    import spark.implicits._
    //    val result: RDD[Array[String]] = data.map(_.mkString(",")).map(_.split(","))
    //      .filter(item => {
    //        var i = 0
    //        for (r <- item) {
    //            if (item.equals("申请时间") == item.equals("created_at") && (item.equals("创建时间") == item.equals("updated_at"))) {
    //          println(item.toString)
    //             }
    //        }
    //        i != 0
    //      }
    //      )
    //
    //    result.foreach(println)

    datas.createOrReplaceTempView("time")

    //    val sql =
    //      """
    //        |select * from time where left(`申请时间`,10)= left(created_at,10) and left(`创建时间`,10) = left(updated_at,10)
    //        |""".stripMargin
    //select * from time where left('申请时间',10) = left('created_at',10) && left('创建时间',10) = left('updated_at',10)
    //    spark.sql(sql).show()



![img](https://img-blog.csdnimg.cn/img_convert/8694f68eac061fe3fc97c2bfaa0d4f34.png)
![img](https://img-blog.csdnimg.cn/img_convert/1cefddce58316c28303cd18e3243de2a.png)
![img](https://img-blog.csdnimg.cn/img_convert/ffef2bc626708d37d302a70b7ded0634.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**