【头歌】JSON 数据分析 - 详解

最新推荐文章于 2024-09-05 16:41:55 发布

梦想编程家

最新推荐文章于 2024-09-05 16:41:55 发布

阅读量1.7k

点赞数 16

分类专栏：头歌 - Spark Streaming 文章标签： json 数据分析 spark 大数据

本文链接：https://blog.csdn.net/qq_41560688/article/details/135275779

版权

头歌 - Spark Streaming 专栏收录该内容

1 篇文章 1 订阅

订阅专栏

【提示】点击每一关参考答案可以快速复制。

相关技术：Spark StreamingSpark Streaming

第1关：Spark Streaming 处理实时数据流

第1关：Spark Streaming 处理实时数据流

任务描述

本关任务：通过 Spark 结构化流处理 JSON 数据流，对数据进行简单处理，然后将处理后的数据实时打印到控制台。

编程要求

根据提示，在右侧编辑器 Begin-End 内补充代码，编程要求如下：

使用 spark.readStream 创建一个 Spark 结构化流的读取器对象。
- 指定数据源的格式( format())为 JSON ，以告诉 Spark 读取 JSON 格式的数据。
- 使用之前定义的 jsonSchema 变量指定数据的结构( schema())，以确保Spark正确解释和处理数据。
- 限制每个触发操作处理的文件数( .option() )为1。
- 监视包含 JSON 数据文件的路径( load(input_path) )。
定义实时数据流处理逻辑，选择所有字段。
创建一个输出操作，将数据实时打印到控制台。
设置查询的超时时间为2秒。
停止查询。

测试说明

无

参考答案

#以下为代码文件


from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType

def process_streaming_data(input_path):
    # 创建 SparkSession
    spark = SparkSession.builder \
        .appName("JSONStreaming") \
        .getOrCreate()

    # 定义 JSON 数据的结构
    jsonSchema = StructType([
        StructField("bussinessRst", StringType(), True),
        StructField("channelCode", StringType(), True),
    ])

    # ---------------------- Begin ----------------------

    # 读取 JSON 数据流
    streamingDF = spark.readStream \
        .format("json") \
        .schema(jsonSchema) \
        .option("maxFilesPerTrigger", 1) \
        .load(input_path)

    # 定义实时处理逻辑， 选择所有字段。
    processedDF = streamingDF.select("*")

    # 创建一个输出操作，将数据实时打印到控制台
    query = processedDF.writeStream \
        .outputMode("append") \
        .format("console") \
        .start()

    # 设置查询的超时时间为2秒
    query.awaitTermination(2)
    # 停止查询
    query.stop()

    # ---------------------- End ----------------------

# 调用函数来处理流数据
input_path = "/data/workspace/myshixun/test1/spark_input"
process_streaming_data(input_path)

第2关：支付成功率分析

任务描述

旨在对中国移动支付数据进行分析，重点关注不同支付渠道的支付金额，以及成功和失败交易的比例，同时深入研究失败交易的原因。

编程要求

根据提示，在右侧编辑器 Begin-End 内补充代码，编程要求如下：

根据 DataFrame df 中的 "bussinessRst" 列过滤出值不等于 "0000" 的行，并将结果保存在名为 failed_payments 的新 DataFrame 中。
从 failed_payments DataFrame 中选择（.select()）以下字段 "bussinessRst", "channelCode", "chargefee", "bussinessRst", 和 "retMsg" 并将结果保存在名为 selected_data 的新 DataFrame 中。
显示 selected_data DataFrame 中的数据，确保不截断列内容（ truncate=False ），以便查看完整的列数据。

测试说明

无

参考答案

# 以下为代码文件

from pyspark.sql import SparkSession
from pyspark.sql.functions import col

def print_failed_payment_data(json_file_path):
    # 初始化 SparkSession，命名为 "PaymentAnalysis"
    spark = SparkSession.builder.appName("PaymentAnalysis").getOrCreate()

    # 通过Spark读取JSON文件，将数据加载到DataFrame中
    df = spark.read.json(json_file_path)

    # ------------------ Begin ------------------

    # 筛选出不成功的支付记录
    failed_payments = df.filter(col("bussinessRst") != "0000")

    # 选择并打印 "bussinessRst", "channelCode", "chargefee", "bussinessRst", 和 "retMsg" 字段的数据
    selected_data = failed_payments.select("bussinessRst", "channelCode", "chargefee", "bussinessRst", "retMsg")


    # 显示DataFrame中的数据
    selected_data.show(truncate=False)


    # ------------------ End ------------------

    # 停止 SparkSession，释放资源并终止 Spark 应用程序
    spark.stop()

# 调用函数并传递 JSON 文件的路径
json_file_path = "/data/bigfiles/cmcc.json"
print_failed_payment_data(json_file_path)

第3关：充值请求分析

任务描述

本关任务：分析充值请求的起始时间（ startReqTime ）和结束时间（ endReqTime ）以了解请求的持续时间。同时，检查不同服务名称（ serviceName ）的充值请求的数量。

编程要求

根据提示，在右侧编辑器 Begin-End 内补充代码，统计不同服务名称（ serviceName ）的充值请求的数量。编程要求如下：

使用 DataFrame 的 groupBy 方法按照服务名称字段( "serviceName" )进行分组。然后，使用 count 方法计算每个服务的请求数量并将结果存储在 service_request_count 变量中。
使用 show 方法来展示不同服务的充值请求数量。

测试说明

无

参考答案

#以下为代码文件


from pyspark.sql import SparkSession

def recharge_request_analysis(json_file_path):
    # 初始化 SparkSession
    spark = SparkSession.builder.appName("RechargeRequestAnalysis").getOrCreate()

    # 通过 Spark 读取 JSON 文件，将数据加载到 DataFrame 中
    df = spark.read.json(json_file_path)

    # ----------------- Begin -----------------

    # 检查不同服务名称的充值请求数量
    service_request_count = df.groupBy("serviceName").count()

    # 使用show方法显示结果，展示不同服务的充值请求数量
    service_request_count.show()

    # ----------------- End -----------------

    # 停止 SparkSession，释放资源并终止 Spark 应用程序
    spark.stop()

# 调用函数并传递 JSON 文件的路径
json_file_path = "/data/bigfiles/cmcc.json"  
recharge_request_analysis(json_file_path)

第4关：充值请求分析

任务描述

本关任务：旨在分析客户IP地址在数据中的出现频率。统计每个唯一 IP 地址出现的次数，以便了解哪些 IP 地址最常出现。

列名	缺失值数量
bussinessRst	0
channelCode	0
chargefee	0
clientIp	0
endReqTime	27277
gateway_id	13606
idType	13598
interFacRst	0
logOutTime	0
orderId	0
payPhoneNo	27285
phoneno	13606
prodCnt	27277
provinceCode	0
rateoperateid	27285
receiveNotifyTime	13606
requestId	0
resultTime	27204
retMsg	0
serverIp	0
serverPort	0
serviceName	13679
shouldfee	27285
srcChannel	27277
startReqTime	0
sysId	0

编程要求

根据提示，在右侧编辑器 Begin-End 内补充代码，编程要求如下：

使用 groupBy 函数对 DataFrame json_df 按照 "clientIp" 列的唯一值进行分组。存储结果在名为 grouped_ip 的新 DataFrame 中。
使用 agg 函数对分组后的数据执行聚合操作。count("*") 计算每个分组中的数据行数，即每个 IP 地址的访问频次。使用 alias("count") 为聚合结果创建一个新列，列名为 "count"，用于存储访问频次统计结果。存储结果在名为 ip_count 的新 DataFrame 中。
使用 orderBy 函数对 ip_count 中的数据按照 "count" 列的值进行排序。使用 ascending=False 按降序排序，以将访问频次最高的 IP 地址排在前面。存储结果在名为 sorted_ip_frequency 的新 DataFrame 中。

测试说明

无

参考答案

#以下为代码文件


from pyspark.sql import SparkSession
from pyspark.sql.functions import unix_timestamp, col, from_unixtime, count, expr

def analyze_ip_frequency(json_file):
    # 创建SparkSession
    spark = SparkSession.builder.appName("SessionDurationAnalysis").getOrCreate()

    # 读取JSON数据为DataFrame
    json_df = spark.read.json(json_file)

    # ------------------ Begin ------------------

    # 使用groupBy对IP地址分组
    grouped_ip = json_df.groupBy("clientIp")

    # 计算每个IP地址的频次，使用agg函数计算数据行数
    ip_count = grouped_ip.agg(count("*").alias("count"))

    # 按频次降序排序结果，以查看哪些IP地址访问频率最高
    sorted_ip_frequency = ip_count.orderBy(col("count").desc())
    
    # ------------------ End ------------------

    # 展示IP地址频次
    sorted_ip_frequency.show()

    # 停止SparkSession
    spark.stop()

# 调用函数并传递JSON文件路径
analyze_ip_frequency("/data/bigfiles/cmcc.json")

第5关：不同省份移动充值分析

任务描述

本关任务：对移动充值相关数据进行统计，特别是针对不同省份。

编程要求

根据提示，在右侧编辑器 Begin-End 内补充代码，编程要求如下：

使用 withColumn 方法，选择 "chargefee" 列，并将其新的数据类型设置为整数类型( IntegerType() )，然后将结果存储回 "chargefee" 列。
使用 filter 方法，创建一个筛选条件，使用 cast 将 "chargefee" 列的数据类型转换为整数类型，然后使用 isNotNull 检查是否为不为 null（即有效整数值），最后将结果存储回 "df" 。
使用 groupBy 方法，按照 "provinceCode" 列进行分组。使用 agg 方法，计算每个分组内的 "chargefee" 列的总和，并将结果以别名 "total_chargefee" 存储在 "result" 数据框中。

测试说明

无

参考答案

#以下为代码文件


from pyspark.sql import SparkSession
from pyspark.sql.types import IntegerType
from pyspark.sql.functions import sum, col, lit, when

def analyze_province_data(json_file_path, province_mapping):
    # 初始化 SparkSession
    spark = SparkSession.builder.appName("ProvinceAnalysis").getOrCreate()

    # 通过 Spark 读取 JSON 文件，将充值数据加载到 DataFrame 中
    df = spark.read.json(json_file_path)

    # -------------------- Begin --------------------

    # 先将 "chargefee" 列的数据类型从字符串转换为整数
    df = df.withColumn("chargefee", df["chargefee"].cast(IntegerType()))

    # 过滤掉 "chargefee" 列中不是整数的值
    df = df.filter(col("chargefee").isNotNull())

    # 执行求和操作
    result = df.groupBy("provinceCode").agg(sum("chargefee").alias("total_chargefee"))

    
    # -------------------- End --------------------

    # 使用映射字典将省份编码转换为省份名称
    result = result.withColumn("provinceName", lit(None).cast("string"))
    for code, name in province_mapping.items():
        result = result.withColumn("provinceName", when(col("provinceCode") == code, name).otherwise(col("provinceName")))

    # 显示结果
    result.show(20)

    # 当处理完成后停止 Spark 会话
    spark.stop()


# 定义省份编码和名称的映射字典
province_mapping = {
    100: '北京',
    200: '广东',
    210: '上海',
    220: '天津',
    230: '重庆',
    240: '辽宁',
    250: '江苏',
    270: '湖北',
    280: '四川',
    290: '陕西',
    311: '河北',
    351: '山西',
    371: '河南',
    431: '吉林',
    451: '黑龙江',
    471: '内蒙古',
    531: '山东',
    551: '安徽',
    571: '浙江',
    591: '福建',
    731: '湖南',
    771: '广西',
    791: '江西',
    851: '贵州',
    871: '云南',
    891: '西藏',
    898: '海南',
    931: '甘肃',
    951: '宁夏',
    971: '青海',
    991: '新疆'
}

# 调用函数并传递JSON文件路径
json_file_path = "/data/bigfiles/cmcc.json"
analyze_province_data(json_file_path, province_mapping)

至此，所有内容都完成辣。如果存在任何问题欢迎大佬指教🥰！