既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
子任务2
任务背景:
数据的维数是指数据具有的特征数量,数据特征矩阵过大, 将导致计算量比较大,训练时间长的等问题。当数据存在冗余属性时,对多余属性剔除的过程,称为“数据降维”。降维的好处十分明显,它不仅可以数据减少对内存的占用,还能够加快学习算法的执行与收敛。请根据任务具体要求,针对原始数据集中可能存在的冗余属性进行排查,复制并保存结果。
任务描述:
请使用子任务1的结果数据作为数据源,判断属性“申请时间”、“创建时间”与“created_at”、“updated_at”是否为重复属性。请按照如下要求编写Spark程序对数据进行清洗,并将结果输出/diliveryoutput2(将分区数设置为1)。
-
分析数据文件
-
排除属性列“申请时间”、“创建时间”与“created_at”、“updated_at”是否为重复属性
-
程序打包并在Spark平台运行
具体任务要求:
1、利用/diliveryoutput1作为源数据,使用hadoop shell命令查看数据集条数,请将查看命令及结果复制并粘贴至对应报告中。
2、如果仅考虑年、月、日数据,忽略时刻信息,“申请时间”、“创建时间”与“created_at”、“updated_at”是否为重复属性?请编写Spark程序,并在程序中以打印语句输出两对属性对应相等的数据条数。将打印输出结果以及你的结论复制并粘贴至对应报告中。(复制内容需包含打印语句输出结果的上下各 5 行运行日志)。
示例格式:
=两组属性同时相等的数据条数为***条=
结论:“申请时间”、“创建时间”与“created_at”、“updated_at”(是/不是)重复属性。
如果数据相等的比例超过原始数据集的90%,则剔除属性“created_at”与“updated_at”, 并将结果数据集json文件保存至/diliveryoutput2。
package eat
import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.{DataFrame, SparkSession}
object two {
def main(args: Array[String]): Unit = {
val spark: SparkSession = SparkSession.builder().master("local[6]").appName("two").config("spark.sql.warehouse.dir", "C:/").getOrCreate()
Logger.getLogger("org").setLevel(Level.ERROR)
val datas: DataFrame = spark.read.json("data/output/diliveryoutput1")
// val data: RDD[Row] = datas.rdd
// import spark.implicits._
// val result: RDD[Array[String]] = data.map(_.mkString(",")).map(_.split(","))
// .filter(item => {
// var i = 0
// for (r <- item) {
// if (item.equals("申请时间") == item.equals("created_at") && (item.equals("创建时间") == item.equals("updated_at"))) {
// println(item.toString)
// }
// }
// i != 0
// }
// )
//
// result.foreach(println)
datas.createOrReplaceTempView("time")
// val sql =
![img](https://img-blog.csdnimg.cn/img_convert/78b11faf8cceec48feef2a98d5057be1.png)
![img](https://img-blog.csdnimg.cn/img_convert/215e7f7a7ae79985906f57958c291d7a.png)
![img](https://img-blog.csdnimg.cn/img_convert/cab9864d7629907eed7b4062e7daa511.png)
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**
且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**