大数据系列：PySpark学习笔记（一）

 

介绍

在处理和使用大数据时， Apache Spark是使用最广泛的框架之一，而 Python是用于数据分析，机器学习等的最广泛使用的编程语言之一。那么，为什么不一起使用它们呢？这就是Spark with Python（也称为 PySpark）出现的地方。

由于Python有着丰富的库集，当今大多数数据科学家和分析专家都在使用Python 。Spark是用Scala语言开发的，它与Java非常相似。它将程序代码编译为JVM的字节码，以进行大数据处理。为了使用Python支持Spark，Apache Spark社区发布了PySpark。两个方面的优点结合在一起带来工作效率的提升。 在这个文章中，我将讨论以下内容：

• Apache Spark简介及其功能
• 为什么要使用Python？
• 使用Python设置Spark（PySpark）

• PySpark SparkContext和数据流
• PySpark RDD用例</