可视化篇：流式数据监控（python）

preface
流式数据的监控，以下主要是从算法的呈现出发，提供一种python的实现思路

---

其中：
1.python是2.X版本
2.提供两种实现思路，一是基于matplotlib的animation，一是基于matplotlib的ion

全篇目录为：

一、一点构思
二、matplotlib animation实现思路
  （一）、骨架与实时更新
  （二）、animation的优缺点
三、matplotlib ion实现思路
  （一）、实时更新
  （二）、ion的优缺点

---

话不多说，先了解大概的效果，如下：

一、一点构思

       在做此流数据输出可视化前，一直在捣鼓nupic框架，其内部HTM算法主要是一种智能的异常检测算法，是目前AI框架中垂直领域下的一股清流，但由于其实现的例子对应的流数据展示并非我想要的，故此借鉴后自己重新写了一个，主要是达到三个目的，一是展示真实数据的波动，二是展示各波动的异常得分，三是罗列异常的点。
       上述的输出结构并非重点，重点是其实时更新的机制，了解后即可自行定义。另，js对于这种流数据展示应该不难，所以本文主要立足的是算法的呈现角度以及python的实现。

二、matplotlib animation实现思路

http://matplotlib.org/api/animation_api.html 链接是matplotlib animation的官方api文档

（一）、骨架与实时更新

       animation翻译过来就是动画，其动画展示核心主要有三个：1是动画的骨架先搭好，就是图像的边边框框这些，2是更新的过程，即传入实时数据时图形的变化方法，3是FuncAnimation方法结尾。

       下面以一个小例子做进一步说明：
       1.对于动画的骨架：

# initial the figure.
x = []
y = []
fig = plt.figure(figsize=(18, 8), facecolor="white")
ax1 = fig.add_subplot(111)
p1, = ax1.plot(x, y, linestyle="dashed", color="red")

以上分别对应初始化空数据，初始化图形大小和背景颜色，插入子图（三个数字分别表示几行几列第几个位置），初始化图形（数据为空）。

import numpy as np
x = np.arange(0, 1000, 1)
y = np.random.normal(100, 10, 1000)

随机生成一些作图数据，下面定义update过程。

       2.对于更新过程：

def update(i):
    x.append(xs[i])
    y.append(ys[i])
    ax1.set_xlim(min(x),max(x)+1)
    ax1.set_ylim(min(y),max(y)+1)
    p1.set_data(x,y)
    ax1.figure.canvas.draw()
    return p1

上述定义更新函数，参数i为每轮迭代从FuncAnimation方法frames参数传进来的数值，frames参数的指定下文会进一步说，x/y通过相应更新之后，对图形的x/y轴大小做相应的重设，再把数据通过set_data传进图形，注意ax1和p1的区别，最后再把上述的变化通过draw()方法绘制到界面上，返回p1给FuncAnimation方法。

       3.对于FuncAnimation方法：

ani = FuncAnimation(fig=fig,func=update,frames=len(xs),interval=1)
plt.show()

FuncAnimation方法主要是与update函数做交互，将frames参数对应的数据逐条传进update函数，再由update函数返回的图形覆盖FuncAnimation原先的图形，fig参数即为一开始对应的参数，interval为每次更新的时间间隔，还有其他一些参数如blit=True控制图形精细，当界面较多子图时，为True可以使得看起来不会太卡，关键是frames参数，下面是官方给出的注释：

可为迭代数，可为函数，也可为空，上面我指定为数组的长度，其迭代则从0开始到最后该数值停止。

       该例子最终呈现的效果如下：

了解大概的实现，细节就不在这里多说了。

（二）、animation的优缺点

       animation的绘制的结果相比于下文的ion会更加的细腻，主要体现在FuncAnimation方法的一些参数的控制上。但是缺点也是明显，就是必须先有指定的数据或者指定的数据大小，显然这样对于预先无法知道数据的情况没法处理。所以换一种思路，在matplotlib ion打开的模式下，每次往模板插入数据都会进行相应的更新，具体看第二部分。

三、matplotlib ion实现思路

（一）、实时更新

       matplotlib ion的实现也主要是三个核心，1是打开ion，2是实时更新机制，3是呈现在界面上。

       1.对于打开ion：
ion全称是 interactive on（交互打开），其意为打开一个图形的交互接口，之后每次绘图都在之前打开的面板上操作，举个例子：

import matplotlib.pyplot as plt
plt.ion()
fig = plt.figure()
ax1 = fig.add_subplot(111)
line, = ax1.plot(t, v, linestyle="-", color="r")

打开交互接口，初始化图形。

       2.对于实时更新机制：

import numpy as np
ys = np.random.normal(100, 10, 1000)

def p(a, b):
    t.append(a)
    v.append(b)
    ax1.set_xlim(min(t), max(t) + 1)
    ax1.set_ylim(min(v), max(v) + 1)
    li