大数据——日志数据清洗练习

前言

一、数据源

数据源地址：数据源
提取码：yyds

二、准备工作

• 下载数据到虚拟机本地/hdfs
• 启动spark服务 spark-shell进入命令行
• 导入spark sql工具包

import org.apache.spark.sql.functions._
import org.apache.spark.sql.types._

三、实战

3.1 user.csv(年份列中有无效值)

• 查看数据
  
• 加载数据spark
  
  因为数据有表头 所以我们需要去除表头 默认是false
• 数据的查看
  
  结构没问题
  
  数据加载正常开始操作

---

1.数据是否重复

没有重复 不用进行去重

---

2.查看年份无效数据的数量

前面图中展示的无效数据为birhyear列中none值，我们可以利用.equal（“none”）值的方法 但是无效值不止noneÿ