sparksql_分析航线数据_DataFrame场景

spark 专栏收录该内容
37 篇文章 0 订阅

sparksql_分析航线数据_DataFrame场景

# Set File Paths
# 设置文件路径   读取csv文件
flightPerfFilePath = "/databricks-datasets/flights/departuredelays.csv"
airportsFilePath = "/databricks-datasets/flights/airport-codes-na.txt"
# 获得起飞延时数据集  加载数据
# Obtain Airports dataset
airports = spark.read.csv(airportsFilePath, header='true', inferSchema='true', sep='\t')
airports.createOrReplaceTempView("airports")

# 获得起飞延迟数据集
# Obtain Departure Delays dataset
flightPerf = spark.read.csv(flightPerfFilePath, header='true')
# 建立临时视图
flightPerf.createOrReplaceTempView("FlightPerformance")

# Cache the Departure Delays dataset 
# 缓存起飞数据集   方便后续加快查询
flightPerf.cache()

参考此博客:
https://blog.csdn.net/wangxw1803/article/details/87182997

  • 0
    点赞
  • 1
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

打赏
文章很值,打赏犒劳作者一下
相关推荐
©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页

打赏

六mo神剑

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值