mid_python的博客

#使用文本文件做数据源 sc = SparkContext.getOrCreate(conf) rows = sc.textFile("file:///Users/chuzhengkai/Desktop/test.txt") print(rows.first()) print(rows.take(2)) print(rows.count()) print(rows.top(2)) sc.stop(...

# 航班数据分析实战 # 1, 查看航班信息Schema # 2, 提取关注字段, 做航班信息简明情况报表 # 3, 指定日期, 查询航班信息简报 # 4, 分组查询, 按航班号分组, 查询延迟次数 # 5, 分组查询, 按目的地机场分组, 查询延迟次数 # 6, 聚合查询, 查询某天某机场到达航班总数量 # 7, 聚合查询, 查询某天某机场到达航班平均延迟时间 # 8, 分组聚合, 查询某机场...

#准备 pyspark 环境 from pyspark import SparkContext,SparkConf from pyspark.sql import SparkSession,Row from pyspark.sql import functions as func #创建应用程序实例和会话 spark = SparkSession.builder\ .maste...

数据分析之数据整理 1, 数据表合并与空值处理 2, 重复值与异常值处理 3, 增加与修改列 4, 数据采样与描述性统计#准备 pyspark 环境 from pyspark import SparkContext,SparkConf from pyspark.sql import SparkSession,Row #创建应用程序实例和会话 spark = SparkSession.build...