可视化技巧：分类问题中的决策面画法 (直观理解plt.contour的用法)

摘要

通过分类问题中决策面的绘制过程直观理解matplotlib中contour的用法，主要包括对 np.meshgrid 和plt.contour的直观理解。

前言

分类问题中，我们习惯用2维的dmeo做例子，验证算法的有效性。直观的评价方法是在散点图上画一个决策面（decision bondary）来可视化的显示分类结果。

我们借鉴scikit learn中的一个例子，代码如下：

# 这里我稍微调整了下plt.contour中的参数，使得结果更好看一点
def plot_decision_boundary(model, x, y):
    x_min, x_max = x[:, 0].min() - 0.5, x[:, 0].max() + 0.5
    y_min, y_max = x[:, 1].min() - 0.5, x[:, 1].max() + 0.5
    h = 0.01
    # 绘制网格
    xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
    # 生成与网格上所有点对应的分类结果
    z = model(np.c_[xx.ravel(), yy.ravel()])
    z = z.reshape(xx.shape)
    # 绘制contour
    plt.contour(xx, yy, z, levels=[0.5], colors=['blue'])
    plt.scatter(x[:, 0], x[:, 1], c=y)

效果（这里我搭建了一个具有三个隐藏层的简单神经网络，用来对two moons dataset 进行分类）：

我们总结下上述代码，发现画决策面可以分为三个步骤：

1. 在想要绘制决策面的数据范围生成网格（xx, yy）
2. 将网格上所有的点输入分类器并得到输出 (z)
3. 通过网格(xx, yy)和输出结果(z)绘制一条level=0.5的contour

接下来就里面的meshgrid和contour绘制过程做一个简单的小例子，来直观理解上述过程。

step 1: 生成Meshgrid

我们用一个简单的小例子直观理解meshgrid生成了什么。代码如下：

In [1]: import numpy as np

In [2]: x = np.arange(1, 5, 1)

In [3]: y = np.arange(1, 3, 1)

In [4]: x
Out[4]: array([1, 2, 3, 4])

In [5]: y
Out[5]: array([1, 2])

In [6]: xx, yy = np.meshgrid(x, y)

In [7]: xx
Out[7]:
array([[1, 2, 3, 4],
       [1, 2, 3, 4]])

In [8]: yy
Out[8]:
array([[1, 1, 1, 1],
       [2, 2, 2, 2]])

In [9]: xx[0][1]
Out[9]: 2

In [10]: yy[0][1]
Out[10]: 1

分析：我们设置$x=[1,2,3,4],y=[1,2]$。发现meshgrid 生成的是两个$2\times 4$的矩阵，并且把它们的对应位置拼接起来, 如$xx([0][0],yy[0][0])=(1,1)$，$(xx[0][1],yy[0][1])=(2,1)$就是下面的这样一个网格：

Step 2: 将meshgrid 上的点输入分类器

为了方便，我们首先利用上述$xx,yy$生成要输入分类器的数据点。即上图网格中的所有点对。

In [19]: xx.ravel()
Out[19]: array([1, 2, 3, 4, 1, 2, 3, 4])

In [20]: yy.ravel()
Out[20]: array([1, 1, 1, 1, 2, 2, 2, 2])

In [21]: np.c_[xx.ravel(), yy.ravel()] # 按列组合两个矩阵
Out[21]:
array([[1, 1],
       [2, 1],
       [3, 1],
       [4, 1],
       [1, 2],
       [2, 2],
       [3, 2],
       [4, 2]])

In [22]: np.c_[xx.ravel(), yy.ravel()][0]
Out[22]: array([1, 1])

可以看到，这里首先把$xx$和$yy$拉直，然后再按列组合生成了要输如的数据点，再输入分类器即可。

Step 3:

contour and contourf draw contour lines and filled contours, respectively.

其参数如下：contour([X, Y,] Z, [levels], **kwargs)

可以借助中学物理的等高线来直观理解contour的画法，[X, Y]是坐标点，Z是每个点对应的高度，levels = 0.5的意思是我们要在z=0.5的地方画一条等高线。