一零四三、Spark数据清洗 模块C：数据清洗与挖掘分析(2)_spark大数据清洗框架

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

3. 程序打包并在Spark平台运行

具体任务要求：

1、利用/diliveryoutput1作为源数据,使用hadoop shell命令查看数据集条数，请将查看命令及结果复制并粘贴至对应报告中。

2、如果仅考虑年、月、日数据，忽略时刻信息，“申请时间”、“创建时间”与“created_at”、“updated_at”是否为重复属性？请编写Spark程序，并在程序中以打印语句输出两对属性对应相等的数据条数。将打印输出结果以及你的结论复制并粘贴至对应报告中。（复制内容需包含打印语句输出结果的上下各 5 行运行日志）。

示例格式：

=两组属性同时相等的数据条数为***条=

结论：“申请时间”、“创建时间”与“created_at”、“updated_at”（是/不是）重复属性。

如果数据相等的比例超过原始数据集的90%，则剔除属性“created_at”与“updated_at”， 并将结果数据集json文件保存至/diliveryoutput2。

package eat


import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.{DataFrame, SparkSession}


object two {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession.builder().master("local[6]").appName("two").config("spark.sql.warehouse.dir", "C:/").getOrCreate()
    Logger.getLogger("org").setLevel(Level.ERROR)

    val datas: DataFrame = spark.read.json("data/output/diliveryoutput1")

    //    val data: RDD[Row] = datas.rdd
    //    import spark.implicits._
    //    val result: RDD[Array[String]] = data.map(_.mkString(",")).map(_.split(","))
    //      .filter(item => {
    //        var i = 0
    //        for (r <- item) {
    //            if (item.equals("申请时间") == item.equals("created_at") && (item.equals("创建时间") == item.equals("updated_at"))) {
    //          println(item.toString)
    //             }
    //        }
    //        i != 0
    //      }
    //      )
    //
    //    result.foreach(println)

    datas.createOrReplaceTempView("time")

    //    val sql =
    //      """
    //        |select * from time where left(`申请时间`,10)= left(created_at,10) and left(`创建时间`,10) = left(updated_at,10)
    //        |""".stripMargin
    //select * from time where left('申请时间',10) = left('created_at',10) && left('创建时间',10) = left('updated_at',10)
    //    spark.sql(sql).show()


    spark.udf.register("match", (time: String) => {
      time.substring(0, time.indexOf(" "))
    })
    val sql =
      """
        |select * from time where match(`申请时间`) = match(`创建时间`) and match(`created_at`) = match(`updated_at`)
        |""".stripMargin

    val num: Long = spark.sql(sql).count()
    if (num > datas.count() * 0.9) {
      val result: DataFrame = datas.drop("created_at", "updated_at")
      //      result.write.json("hdfs://192.168.231.100:9000/diliveryoutput2")
      result.repartition(1).write.json("data/output/diliveryoutput2")


![img](https://img-blog.csdnimg.cn/img_convert/c33d16b30229e7a1d2f9f9005e63baca.png)
![img](https://img-blog.csdnimg.cn/img_convert/189e62e778cb2c9d692e35cdf81265ba.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**