MySQL运维自动化平台_自动化运维：使用flask+mysql+highcharts搭建监控平台

1.前言

本来想做一个比较完善的监控平台，只需要做少许改动就可以直接拿来用，但是在做的过程中发现要实现这个目标所需的工作量太大，而当前的工作中对其需求又不是特别明显。所以就退而求其次，做了一个类似教程系统的东西。在这个系统中，你应该可以找到做一个监控系统所需要的大部分技术点，而它的真正意义就在于其打通了整个数据流转的环节。

先上一个效果图：

因为只是做了一个简单的验证，所以只有内存曲线有变动，CPU使用情况没变化。X轴的坐标有时间重复，是由于数据里面有相同的IP地址造成的。

磁盘使用情况、硬盘/网络IO的实现过程和内存、CPU类似，所以就没有具体实现。需要特别说明的是： 数据采用的拉的方式，所以目标机只能执行shell命令，磁盘使用情况的处理，尤其是IO情况的处理，比较麻烦。但是其好处是不需要在目标机器上安部署任何东西，只需要一个有权限执行shell命令的账号即可。如果不介意部署麻烦问题，可以在每个目标机上安装psutil包，可以很方便的获取系统信息，但是我看了看大部分系统自带的python都是2.7版本的，而psutil包需要3.0版本以上的。

2.遇到的问题

把开发过程中遇到的问题放到前面说，是为了避免大家遇到相同的问题，从而走了弯路。

2.1 flask-sqlalchemy

这个是我最想吐槽的地方：如果一个ORM框架的使用成本和排查错误的成本远远超过了直接使用sql语句的成本，那么你还有啥存在的意义？

(1)from flask_sqlalchemy import SQLAlchemy  #python3 的写法

(2)安装2.1版本，最新2.3有问题，2.2不确定。使用pip按照的方法为：pip install flask-sqlalchemy==2.1

(3)2.1版本应该也有问题，因为app、models、database三个功能类文件分开的话，只有第一次读取数据是从数据库读取，剩下的读取过程好像都是从内存中读取的。但是如果把所有的内容都放到app文件中就不存在这个问题(这就是我把所有内容都放到一个文件的原因)。这也是目前我能找到的唯一的一个解决方式，如果有其他方式可以解决这个问题，请大家在下面留言告诉我，谢谢。

针对这个问题，我也咨询了几位群里朋友的意见，他们的建议就是最好使用sql直接操作数据库，不仅方便灵活可控，还可以减少框架本身的缺陷引起的莫名其妙的问题。这点我是深有同感，第一次是使用pip安装的flask-sqlalchemy 2.3，一堆莫名其妙的问题，查来查去原来是版本问题引起的。因为是使用pip安装的，所以当时没有考虑版本的问题。

2.2 关于测试机器IP的问题

如果测试过程中，目标机器就一个，IP地址也就一个，这种情况下频繁读取该机器的系统信息，由于机器的保护机制耗费的时间会阶段性变长，建议多连接几台机器测试或者挂几个VIP试试。

2.3 关于提高的SQL脚本

我把整个项目文件上传到了github上，项目中包含的sql脚本如果是在windows下的mysql中执行，需要把create语句整理成一行，否则会创建失败。linux下的mysql中没有这个问题。

3.系统组成及主要工具包

4.技术点详解

4.1 获取数据部分

(1)通过SSH的方式连接目标机器(完整代码：\woodpecker\wpgd\serverconn.py)