军用大数据 - 结构化数据分析与处理

最新推荐文章于 2024-07-16 20:30:41 发布

11.11.1

最新推荐文章于 2024-07-16 20:30:41 发布

阅读量237

点赞数 3

分类专栏： Spark大数据处理技术文章标签：大数据数据分析 ajax

本文链接：https://blog.csdn.net/m0_55885128/article/details/140476003

版权

Spark大数据处理技术专栏收录该内容

11 篇文章 1 订阅

订阅专栏

第1关：使用Spark SQL统计战斗机飞行性能

任务描述

通过飞行速度统计出战斗机飞行性能排比。

from pyspark.sql import SparkSession
spark = SparkSession \
    .builder \
    .appName("Python Spark SQL ") \
    .master("local")\
    .getOrCreate()
df = spark.read.json("/root/jun.json").coalesce(1)
df.createOrReplaceTempView("table1")
out=spark.sql("select cast(regexp_replace(regexp_extract(`最大飞行速度`,'[\\\d,\\\.]+',0),'\\\,','') as float) as speed,`名称` from table1  order by cast(regexp_replace(regexp_extract(`最大飞行速度`,'[\\\d,\\\.]+',0),'\\\,','') as float)  DESC limit 3")
out.write.mode("overwrite").format("csv").save("/root/airspark")
spark.stop()

第2关：使用Spark SQL统计各个研发单位研制战斗机占比

任务描述

统计出各个研发单位研制战斗机占比。

# coding=utf-8
from pyspark.sql import SparkSession
#**********Begin**********#
#创建SparkSession
spark = SparkSession \
    .builder \
    .appName("Python Spark SQL ") \
    .master("local")\
    .getOrCreate()
#读取/root/jun.json中数据
df = spark.read.json("/root/jun.json").coalesce(1)
#创建视图
df.createOrReplaceTempView("table1")
#统计出全球各研发单位研制的战斗机在全球所有战斗机中的占比
out=spark.sql("select   concat(round(count(`研发单位`)*100/(select count(`研发单位`) as num from table1 where `研发单位` is not null and `名称`is not null ),2),'%') as ratio, `研发单位` from table1  where  `研发单位` is not null and `名称`is not null group by  `研发单位`")
#保存结果
out.write.mode("overwrite").format("csv").save("/root/airspark")
#**********End**********#
spark.stop()