在机器学习中处理大量数据！

↑↑↑关注后"星标"Datawhale

每日干货 & 每月组队学习，不错过

 Datawhale干货 

作者：牧小熊，华中农业大学，Datawhale成员

知乎 ｜ https://zhuanlan.zhihu.com/p/357361005

之前系统梳理过大数据概念和基础知识（可点击），本文基于PySpark在机器学习实践中的用法，希望对大数据学习的同学起到抛砖引玉的作用。（当数据集较小时，用Pandas足够，当数据量较大时，就需要利用分布式数据处理工具，Spark很适用）

1.PySpark简介

Apache Spark是一个闪电般快速的实时处理框架。它进行内存计算以实时分析数据。由于Apache Hadoop MapReduce仅执行批处理并且缺乏实时处理功能，因此它开始出现。因此，引入了Apache Spark，因为它可以实时执行流处理，也可以处理批处理。

Apache Spark是Scala语言实现的一个计算框架。为了支持Python语言使用Spark，Apache Spark社区开发了一个工具PySpark。我们可以通过Python语言操作RDDs

RDD简介

RDD (Resiliennt Distributed Datasets)

•RDD = 弹性 + 分布式 Datasets

1）分布式，好处是让数据在不同工作节点并行存储，并行计算

2）弹性，指的节点存储时，既可以使用内存，也可以使用外存

•RDD还有个特性是延迟计算，也就是一个完整的RDD运行任务分成两部分：Transformation和Action

Spark RDD的特性：

• 分布式：可以分布在多台机器上进行并行处理

• 弹性：计算过程中内存不够时，它会和磁盘进行数据交换

• 基于内存：可以全部或部分缓存在内存中

• 只读：不能修改，只能通过转换操作生成新的 RDD

2.Pandas和PySpark对比

可以参考这位作者的，详细的介绍了pyspark与pandas之间的区别：
https://link.zhihu.com/?target=https%3A//blog.csdn.net/suzyu12345/article/details/79673483

3.PySpark实战小练

数据集：从1994年人口普查数据库中提取。（后台回复“210323”可获取）

TO DO：预测一个人新收入是否会超过5万美金

参数说明：

创建SparkSession

from pyspark.sql import SparkSession
spark=SparkSession.builder.appName('adult').getOrCreate()

读取数据

df = spark.read.csv('adult.csv', inferSchema = True, header=True) #读取csv文件
df.show(3)  #用来显示前3行

注意：pyspark必须创建SparkSession才能像类似于pandas一样操作数据集

我们看看数据集：

cols = df.columns #和pandas一样看列名
df.printSchema()

root
|-- age: integer (nullable = true)
|-- workclass: string (nullable = true)
|-- fnlwgt: integer (nullable = true)
|-- education: string (nullable = true)
|-- education-num: integer (nullable = true)
|-- marit