头歌 数据挖掘实践项目 数据清洗（Spark）

数据清洗（Spark）

第1关：数据清洗

本关任务

基于EduCoder平台提供的初始数据集（数据集存放在 /data/workspace/myshixun/data/movies.csv 中），按照下面的要求，完成电影票房数据的清洗工作。

编程要求

1. 去掉字段“上映天数”中带有“零点场”、“点映”、“展映”和“重映”的电影数据；
2. 以字段“上映天数”和“当前日期”为依据，在尾列添加一个“上映日期”（releaseDate）的字段，该字段值为“当前日期”减去“上映天数”+1（格式为：2020-10-13。例如：若字段“上映天数”的值为“上映2天”，字段“当前日期”为“2020-10-10”，则字段“上映日期”的值为“2020-10-09”）。如果字段“上映天数”为空，则字段“上映日期”的值设为“往期电影”。注意：若字段“上映天数”的值为“上映首日”，则字段“上映日期”的值应设为“当前日期”的值；
3. 对字段“当日综合票房”和字段“当前总票房”的数据值进行处理，以“万”为单位，通过数字形式展示，若原数据中有“万”等表示量级的汉字，需去掉量级汉字（如：“1.5亿”需转换为“15000”，“162.4万”转换为“162.4”）。转换时需注意精度缺失问题（如：使用 double、float 等类型做算术运算时，1.14 亿转换为万时，结果会出现 11399.999999999998 万，可以使用 BigDecimal 类来处理这类精度缺失问题），字段“当日综合票房”和字段“当前总票房”最后保留两位小数；
4. 清洗完的数据集设置为 1 个分区后，存储到 /root/files 目录下，分隔方式为 \t。

** 注意：不要改变字段原本的顺序。 **

数据集说明

本数据集是电影票房数据，包含十个字段的信息，数据集的字段含义说明如下：

字段名	说明
movie_name	电影名
boxoffice	当日综合票房
box_rate	票房占比
sessions	排片场次
show_count_rate	排片占比
avg_number	场均人次
attendance	上座率
total_boxoffice	当前总票房
movie_days	上映天数
current_time	当前日期
部分数据展示：

盛世秧歌    7.06万    <0.1%    107    <0.1%    22    47.3%    1757.1万    展映    2019-10-16
决胜时刻    70.83万    0.6%    561    0.1%    34    21.6%    1.14亿    上映25天    2019-10-14
天池水怪    5.43万    <0.1%    55    <0.1%    30    --    75.1万        2020-10-06

清洗后数据展示：

决胜时刻    70.83    0.6%    561    0.1%    34    21.6%    11400.0    上映25天    2019-10-14    2019-09-20
天池水怪    5.43    <0.1%    55    <0.1%    30    --    75.1        2020-10-06    往期电影

注意事项

• 任务完成后请点击"评测"按钮，验证电影票房数据是否成功清洗，程序未通过的情况下，可以点击测试集查看具体问题；

• 本任务设置了多个测试集，通过其中任一测试集将可获得对应分数。

考核点说明

1.清洗数据后共多少行；
2.字段“上映日期”添加成功；
3.字段“当日综合票房”和字段“当前总票房”的单位处理成功。

---

开始你的任务吧，祝你成功！

代码：

import org.apache.log4j.Level;
import static org.apache.spark.sql.functions.substring;
import org.apache.spark.sql.functions;
import org.apache.spark.sql.Column;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.api.java.UDF1;
import org.apache.spark.sql.api.java.UDF2;
import org.apache.spark.sql.types.DataTypes;
import java.text.DecimalFormat;
import java.math.BigDecimal;
import java.text.SimpleDateFormat;
import java.util.Date;

import org.apache.log4j.Logger;

import static org.apache.commons.lang.StringUtils.substring;

public class MoviesClean {
    public static void main(String[] args) {
        /********** Begin **********/

        SparkSession spark = SparkSession.builder().master("local").appName("MoviesClean").getOrCreate();
        // 读取CSV文件，创建DataFrame，并设置列名
        Dataset<Row> moviesDF = spark.read()
                .option("header", false)
                .option("inferSchema", true)
                .csv("/data/workspace/myshixun/data/movies.csv")
                .toDF("movie_name", "boxoffice", "box_rate", "sessions", "show_count_rate",
                        "avg_number", "attendance", "total_boxoffice", "movie_days", "current_time");
        moviesDF = moviesDF.withColumn("current_time", functions.substring(functions.col("current_time"), 0, 10));
        // 注册UDF处理票房数据转换
        spark.udf().register("convertBoxOffice", new org.apache.spark.sql.api.java.UDF1<String, BigDecimal>() {
            @Override
            public BigDecimal call(String boxoffice) throws Exception {
                boxoffice = boxoffice.replaceAll(",", "");
                // 判断并处理 "亿" 和 "万" 的情况
                BigDecimal result = null;
                if (boxoffice.endsWith("亿")) {
                    boxoffice = boxoffice.substring(0, boxoffice.length() - 1); // 移除 "亿" 字符
                    BigDecimal value = new BigDecimal(boxoffice.replaceAll(",", ""));
                    BigDecimal multiplier = new BigDecimal("10000");
                    result = value.multiply(multiplier); // 扩大一万倍
                } else if (boxoffice.endsWith("万")) {
                    boxoffice = boxoffice.substring(0, boxoffice.length() - 1); // 移除 "万" 字符
                    result = new BigDecimal(boxoffice.replaceAll(",", ""));
                }
                return result;
            }
        }, DataTypes.createDecimalType(20, 2));

        // 注册UDF处理日期格式转换
        spark.udf().register("convertDate", new UDF2<String, java.lang.String, String>() {
            @Override
            public String call(String movieDays, java.lang.String current_time) throws Exception {
                if (movieDays == null || movieDays.isEmpty()) {
                    return "往期电影";
                } else if (movieDays.equals("上映首日")) {
                    return current_time;
                } else if (movieDays.contains("天")) {
                    int days = Integer.parseInt(movieDays.replaceAll("[^0-9]", ""));
                    // 将时间戳字符串解析为日期对象
                    SimpleDateFormat dateFormat1 = new SimpleDateFormat("yyyy-MM-dd");
                    Date currentDate = dateFormat1.parse(current_time);
                    // 获取日期对象的时间戳
                    long currentTime = currentDate.getTime();
                    SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd");
                    // 减去上映天数
                    long releaseTime = currentTime - (long) (days-1) * 24 * 3600 * 1000;
                    return dateFormat.format(new Date(releaseTime));
                } else {
                    return "往期电影";
                }
            }
        }, DataTypes.StringType);

        // 清洗数据并添加新字段
        Dataset<Row> cleanedDF = moviesDF.filter("(movie_days NOT LIKE '%零点场%' OR movie_days IS NULL) AND " +
                "(movie_days NOT LIKE '%点映%' OR movie_days IS NULL) AND " +
                "(movie_days NOT LIKE '%展映%' OR movie_days IS NULL) AND " +
                "(movie_days NOT LIKE '%重映%' OR movie_days IS NULL)")
                .withColumn("releaseDate", org.apache.spark.sql.functions.callUDF("convertDate", moviesDF.col("movie_days"), moviesDF.col("current_time")))
                .withColumn("boxoffice", org.apache.spark.sql.functions.callUDF("convertBoxOffice", moviesDF.col("boxoffice")))
                .withColumn("total_boxoffice", org.apache.spark.sql.functions.callUDF("convertBoxOffice", moviesDF.col("total_boxoffice")));

        // 将当日综合票房和当前总票房保留两位小数
        cleanedDF = cleanedDF.withColumn("boxoffice", cleanedDF.col("boxoffice"))
                .withColumn("total_boxoffice", cleanedDF.col("total_boxoffice"));
        //
        //cleanedDF.show();
        // 重新分区为1个分区
        cleanedDF = cleanedDF.coalesce(1);

        // 写入文件
        cleanedDF.write().option("delimiter", "\t").csv("/root/files");

        // 停止SparkSession
        spark.stop();

        /********** End **********/

    }

}