八年老程序员教你读懂PySpark数据框（附实例）

数据框是现代行业的流行词。人们往往会在一些流行的数据分析语言中用到它，如Python、Scala、以及R。 那么，为什么每个人都经常用到它呢?让我们通过PySpark数据框教程来看看原因。在本文中，我将讨论以下话题：

•   什么是数据框?

•  为什么我们需要数据框?

•  数据框的特点

•  PySpark数据框的数据源

•  创建数据框

•  PySpark数据框实例：国际足联世界杯、超级英雄

什么是数据框?

数据框广义上是一种数据结构，本质上是一种表格。它是多行结构，每一行又包含了多个观察项。同一行可以包含多种类型的数据格式(异质性)，而同一列只能是同种类型的数据(同质性)。数据框通常除了数据本身还包含定义数据的元数据;比如，列和行的名字。

 

 

我们可以说数据框不是别的，就只是一种类似于SQL表或电子表格的二维数据结构。接下来让我们继续理解到底为什么需要PySpark数据框。

为什么我们需要数据框?

1. 处理结构化和半结构化数据

 

 

数据框被设计出来就是用来处理大批量的结构化或半结构化的数据。各观察项在Spark数据框中被安排在各命名列下，这样的设计帮助Apache Spark了解数据框的结构，同时也帮助Spark优化数据框的查询算法。它还可以处理PB量级的数据。

在这里我还是要推荐下我自己建的大数据学习交流qq裙：522189307 ， 裙 里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取
 

2. 大卸八块

 

 

数据框的应用编程接口(API)支持对数据“大卸八块”的方法，包括通过名字或位置“查询”