pyspark 读取本地csv_大数据系列：PySpark学习笔记（一）

介绍

在处理和使用大数据时， Apache Spark是使用最广泛的框架之一，而 Python是用于数据分析，机器学习等的最广泛使用的编程语言之一。那么，为什么不一起使用它们呢？这就是 Spark with Python(也称为 PySpark)出现的地方。

由于Python有着丰富的库集，当今大多数数据科学家和分析专家都在使用Python 。Spark是用Scala语言开发的，它与Java非常相似。它将程序代码编译为JVM的字节码，以进行大数据处理。为了使用Python支持Spark，Apache Spark社区发布了PySpark。两个方面的优点结合在一起带来工作效率的提升。 在这个文章中，我将讨论以下内容：

• Apache Spark简介及其功能
• 为什么要使用Python？
• 使用Python设置Spark(PySpark)

• PySpark SparkContext和数据流
• PySpark RDD用例

Apache Spark简介

Apache Spark是由Apache Software Foundation开发的用于实时处理的开源集群计算框架。Spark提供了一个接口，用于使用隐式数据并行性和容错性对整个集群进行编程。

以下是Apache Spark的一些功能，这些功能使其比其他框架更具优势：

• 速度：它比传统的大规模数据处理框架快100倍。
• 强大的缓存：简单的编程层提供了强大的缓存和磁盘持久性功能。
• 部署： 可以通过Mesos，通过Yarn的Hadoop或Spark自己的集群管理器进行部署。
• 实时： 实时计算和低延迟(由于内存计算)。
• 多种语言：它是此框架的最重要功能之一，因为可以用Scala，Java，Python和R进行编程。

为什么要使用Python？

尽管Spark是在scala中设计的，这使其速度比Python快10倍，但是Scala仅在使用的内核数较少时才更快。由于当今大多数分析和过程都需要大量内核，因此Scala的性能优势并不那么多。

对于程序员而言，由于其语法和标准库，Python 相对容易 学习。而且，它是一种动态类型化的语言，这意味着RDD可以容纳多种类型的对象。

尽管Scala具有SparkMLlib，但是它没有足够的库和工具来满足机器学习和NLP的目的。而且，Scala缺乏数据可视化。

使用Python设置Spark(PySpark)

假定您已经知道如何下载spark并安装它。因此，一旦您解压缩了spark文件，将其安装并添加到.bashrc文件的路径，则需要输入source .bashrc

要打开pyspark shell，您需要输入以下命令 ./bin/pyspark

PySpark SparkContext和数据流

Py4j库使用Python与Spark交互来使用RDD。PySpark Shell将Python API链接到spark核心并初始化Spark Context。Spark上下文是任何Spark 应用程序的核心。

1. Spark上下文设置内部服务并建立与Spark执行环境的连接。
2. 驱动程序中的sparkcontext对象协调所有分布式过程并允许资源分配。
3. 集群管理器提供执行器，它们是具有逻辑的JVM进程。
4. SparkContext对象将应用程序发送给执行者。
5. SparkContext在每个执行程序中执行任务。

PySpark RDD用例

现在，让我们看一下RDD的用例。在这里，我们使用一个数据集examples.csv作为范例

创建RDD：

现在我们可以使用该文件来创建RDD。

data_file = "./data/examples.csv"raw_data = sc.textFile(data_file)

过滤(filter)：

假设我们要计算多少正常。我们在数据集中的互动。我们可以如下过滤 raw_data RDD。

计数(count)：

现在，我们可以统计有多少元素在新RDD。

normal_raw_data.count()

输出：

map：

在这种情况下，我们希望以CSV格式读取数据文件。我们可以通过对RDD中的每个元素应用lambda函数来做到这一点，如下所示。在这里，我们将使用map()和take()转换。

split_file = normal_raw_data.map(lambda line: line.split(