spark使用python教程_Python在Spark上的机器学习(四)之可视化工具的介绍与PySpark的结合使用示例...



Python在Spark上的机器学习(四)之可视化工具的介绍与PySpark的结合使用示例

前言

在Python和Java的生态圈中，有许多可用的可视化库，但是在这篇文章中，我们主要来介绍一下matplotlib 和 Bokeh的使用。

首先，这两个库都是Anaconda预装的。如果你是通过Anaconda来搭建的Python的科学计算环境的话，直接就可以通过import导入来使用这两个库了。

但是如果还没安装和配置好环境的朋友，可以自行参考Matplotlib和Bokeh的官方站点的教程来下载配置环境。

注：这一类对各系统平台支持良好的库，一般安装流程也就无非两条pip命令，如：

python -mpip install -U pip

python -mpip install -U matplotlib

pip install bokeh

或

conda install bokeh

所以各位读者也没有必要担心配置麻烦。

有关matplotlib和bokeh的介绍

Matplotlib

Matplotlib是一个Python 2D绘图库，可以跨平台生成各种通用格式和适用于交互式环境的高质量图表。 Matplotlib可直接用于Python脚本，IPython shell，Jupyter以及Web应用程序服务器之中。

Matplotlib简化了许多繁琐的绘图操作，使得原本简单的图表在绘制上更加简单，而复杂的图表绘制也更容易上手。只需几行代码即可生成许多好看的图表。如，直方图、功率谱、条形图、错误图，散点图等。

官方绘图预览：

Bokeh

Bokeh (Bokeh.js) 是一个 Python 交互式可视化库，支持现代化 Web 浏览器，提供非常完美的展示功能。Bokeh 的目标是使用 D3.js 样式提供优雅，简洁新颖的图形化风格，同时提供大型数据集的高性能交互功能。Boken 可以快速的创建交互式的绘图，仪表盘和数据应用。

鉴于Bokeh强调的更多是一种交互式的绘图体验，在这里我就不貼静态图了，不过下面我会附上一些官方demo的例子，让大家感受下Bokeh的强大之处。

结合PySpark进行可视化分析

模块加载

以下实验均在Jupyter环境下进行

matplotlib

%matplotlib inline

import matplotlib.pyplot as plt

plt.style.use('ggplot')

bokeh

import bokeh.charts as chrt

from bokeh.io import output_notebook

output_notebook()

频率分布分析

频率分布图是最为简单有效的观察数据的分布情况的方法之一。

读取数据

本文用到的数据文件依旧是上文所提及的信用欺诈检测的数据集，具体下载地址：这里

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19import pyspark.sql.types as typfraud = sc.textFile('/home/ef/Desktop/learningPySpark-master/ccFraud.csv')header = fraud.first()fraud = fraud \.filter(lambda row: row != header) \.map(lambda row: [int(elem) for elem in row.split(',')])fields = [*[typ.StructField(h[1:-1], typ.IntegerType(), True)for h in header.split(',')]]schema = typ.StructType(fields)fraud_df = spark.createDataFrame(fraud, schema)hists = fraud_df.select('balance').rdd.flatMap(lambda row: row).histogram(20)fraud_df.printSchema()

输出：

root

|– custID: integer (nullable = true)

|– gender: integer (nullable = true)

|– state: integer (nullable = true)

|– cardholder: integer (nullable = true)

|– balance: integer (nullable = true)

|– numTrans: integer (nullable = true)

|– numIntlTrans: integer (nullable = true)

|– creditLine: integer (nullable = true)

|– fraudRisk: integer (nullable = true)

绘制频率分布直方图

matplotlib

data = {

'bins': hists[0][:-1],

'freq': hists[1]

}

plt.bar(data['bins'], data['freq'], width=2000)

plt.title('Histogram of \'balance\'')

plt.show()

输出:

bokeh

data = {

'bins': hists[0][:-1],

'freq': hists[1]

}

b_hist = chrt.Bar(

data,

values='freq', label='bins',

title='Histogram of \'balance\'')

chrt.show(b_hist)

输出: