服务端线上接口监控实践

背景

最近上线了一个新的服务，这个服务有一个特点就是接入了n个第三方的数据服务，前端通过不同参数请求被测服务端，服务端根据参数不同proxy_pass到不同的后端服务器获取数据，处理后吐给前端展示；

问题

被测服务和后端服务都上线后，发现了一些问题 
1、第三方服务器可能会宕机，导致线上的被测服务功能不正常； 
2、现有的报警机制是基于对服务存活的检查，无法检查功能逻辑是否正常；

问题分析

现有的监控程序是对线上服务器进行服务进程存活检查，当进程挂掉才会报警，但是有一些情况cover不到，比如后端服务挂了，那么被测服务进程还在，但是当客户端请求时，无数据返回；

解决方案

使用脚本模拟客户端不同参数的请求，验证接口返回码200的同时，验证数据内容的正确性； 
例：http://abc.sogou.com?type=music，会请求后端music服务器，正常情况下有内容{“name”:”abc”} 
使用python的requests库请求服务端获得返回码&返回body，验证jsonobj中 含有 key = name & value = abc 
当有检查点失败时，向指定邮箱发报警邮件； 
ps：之前偷听到一个小技巧，报警邮件可以指定到QQ邮箱，这样有报警邮件就能及时收到，因为微信有QQ邮箱的收件提醒，是不是想说一声，卧槽~这都可以~

衍生问题

1、case维护麻烦，因为使用python unittest框架，需要将检查点和请求参数维护到代码里，这样新增case比较麻烦 
2、由于case维护在代码中，查看已有case也比较麻烦；

解决方案

1、将case和检查点存在db中，修改python脚本，从db中获取case和检查点，并执行

整体流程图

 

添加case

 

• 自定义参数组合、预置一些通用检查点，根据实际参数组合的预期返回值，勾选检查点

• 执行脚本根据db中这条case写入的检查点选择执行assert

• 后端提供一个查询db的接口，供前台页面展示case列表（如下）

 

存在问题

1、目前这套系统最大的问题是扩展性不好，耦合度较大，后面可以通过完善配置的方法解耦，并增加可扩展性；