100行代码，搞定http监控框架

集群信息管理，员工信息管理，告警策略管理，几篇前戏已经铺垫足够，今天，分享如何用100行代码搞定一个可扩展，通用的http监控框架。

 

一、常见的http监控玩法

提问：有哪些常见http监控需求？

回答：常见的http监控需求有两类：

• html页面监控

• 返回json数据的http接口

 

提问：常见的http监控怎么玩？

回答：一般access日志，通过观测以下两个参数来实施告警：

• http非200状态码

• http请求响应时间

 

二、常见的http监控存在什么问题？

提问：常见的http非200状态码，以及响应时间监控有什么弊端？

回答：每个公司都有自己的404页面，例如58到家的404页面大概长这样：

这个页面的http状态码是200，且返回速度极快，根本不能代表html页面的真实运行情况，很难起到真正的监控作用。

画外音：不是说http状态码监控没用，相反，http状态码的监控是很有必要的，http状态码404说明系统一定有问题，但http状态码200不能说明系统没有问题。

 

提问：http状态码不能说明问题，那什么才能代表http没有问题呢？

回答：每个http都有自己的业务特性。

特性一：需要返回特定的页面内容，例如，58到家的官网大概长成这样：

即，访问http://daojia.com/ ，一定要返回一个含“家政”字眼的html页面，才是正确的。

 

特性二：需要返回特定的接口内容，例如，RESTful的获取用户信息接口，假设传入uid=123，会传回：

{“RET”:”SUCCESS”, “name”:”shenjian”, “uid”:”123”}

即，http://daojia.com/userinfo/get/?uid=123，一定要返回一个含“shenjian”的字符串，才是正确的。

 

于是乎，得到了可扩展通用http监控平台（框架）的思路：不仅仅要监控http状态码，更重要的是，要监控http返回内容的业务特性。

 

三、可扩展通用http监控平台架构细节

整个http监控平台的架构如上，分为监控平台层，信息管理层，基础服务层。

 

监控平台层

• http监控中心：实施监控的主程序

• http监控配置：可扩展的监控项信息管理

 

监控项核心信息包含：

• 被监控的html页面/RESTful接口属于哪个集群

• 被监控的URL

• 被监控的URL需要传入的数据，包含GET/POST/COOKIE等数据

• 被监控的http返回的数据中必须包含什么业务特性字符串

 

以58到家官网html为例，监控项核心信息为：

[http.monitor.item]

cluster.name : daojia_main

url : http://daojia.com/

result : 家政

即，访问http://daojia.com/，返回结果必须包含“家政”。

 

以获取用户信息RESTful接口为例，监控项核心信息为：

[http.monitor.item]

cluster.name : daojia_user

url : http://daojia.com/userinfo/get/

get.data : uid=123

post.data : NULL

cookie.data : NULL

result : shenjian

即，访问http://daojia.com/userinfo/get/?uid=123，返回结果必须包含“shenjian”。

 

如果要做成平台，需要有一个监控项管理后台，来新增/修改/管理监控项。

监控中心，会遍历所有监控项，并发对各个http监控项实施监控。

 

信息管理层

信息管理层又分为：集群信息管理服务，员工信息管理服务，告警策略管理服务。

画外音：没错，就是最近两篇文章《集群信息管理》和《员工信息管理，告警策略管理》聊的内容，要不你以为为何提前讲这两篇。

 

集群信息管理服务，主要提供这个接口：

Info Service::getClusterInfo(String clusterName)

即，通过集群名，获取集群信息。

 

集群信息有很多，和监控相关的主要有这么几个信息：

• 集群ip列表，每个web-server都应该被监控到

• 集群负责人，如果监控异常，要将告警发给谁

 

用户信息管理服务，主要提供这个接口：

Info Service::getYuanGongInfo(String name)

即，通过员工名，获取员工信息。

 

员工信息有很多，和监控相关的主要有这么几个信息：

• 员工手机号，邮箱，微信号，钉钉号等通讯信息

• 如果要实现多级告警策略，还需要获取员工部门及leader的相关信息

 

告警策略管理服务，主要提供这个接口：

Bool Service::trySendAlarm(

         String clusterName,

         String yuangongName,

         String ip,

         String url,

         …

)

即，一旦发现接口有异常，尝试发送告警。

 

这个尝试发送告警，并不意味着一定会发送短信或者邮件，因为需要实现一系列人性化的告警策略：

• 集群收敛策略，可以通过clusterName去重

• 接口收敛策略，可以通过url去重

• 定时定频策略，可以通过yuangongName去重

• 白天黑夜策略，可以通过告警发送时间实施

• …

 

基础服务层

进行完告警策略过滤后，如果真实需要发送告警，调用基础服务层的服务发出。

发送邮件，发送短信这些基础服务，相信每个公司都有，这里就不展开叙述了。

画外音：听说你们公司没有发邮件，发短信的服务？你真的在一家互联网公司么？

 

四、可扩展通用http监控框架细节

楼主，你在搞笑？我在一个创业型公司，你上面说的http监控配置服务，集群信息管理服务，员工信息管理服务，告警策略管理服务，我们公司都没有！只有一个能发短信的接口，能整出个http监控框架不？还要通用可扩展哟。楼主你个骗子，说好的100行代码实现呢？

 

额，别急，上面的所有服务即使都没有，只要能发短信告警，就能整：

• http监控项信息：通过配置文件搞

• 集群信息：通过配置文件搞

• 员工信息：通过配置文件搞

• 告警策略信息：不搞告警策略了，异常就发短信

于是乎，http监控框架变成了这个样子，服务都用配置文件代替了：

http监控项配置，monitor-item.config

[http.monitor.item]

cluster.name : daojia_main

url : http://daojia.com/

result : 家政

 

[http.monitor.item]

cluster.name : daojia_user

url : http://daojia.com/userinfo/get/

get.data : uid=123

post.data : NULL

cookie.data : NULL

result : shenjian

 

集群信息配置，cluster-info.config：

[daojia_main]

ip.list : ip1, ip2, ip3

port : 80

owner.list: shenjian, zhangsan, lisi

 

[daojia_user]

ip.list : ip11, ip22, ip33

port : 8080

owner.list: shenjian

 

员工信息配置，owner-info.config

[shenjian]

email : XX@XX.com

phone :15912345678

 

[zhangsan]

email : YY@YY.com

phone :18611220099

 

五、http监控框架伪代码

// 解析配置文件，取出监控项、集群、员工等信息

Array[monitor-item] A1=Parse(monitor-item.config);

Array[cluster-info] A2= Parse(cluster-info.config);

Array[owner-info] A3=Parse(owner-info.config);

 

// 遍历所有监控项

for(each item in A1){

 // 取出监控项的集群名，URL，http数据，结果等信息

 clusterName= item.clusterName;

 url= item.url;

 getData= item.getData;

 postData= item.postData;

 cookieData= item.cookieData;

 result= item.result

 // 由集群名，获取集群信息

 clusterInfo= A2[clusterName];

 // 由集群信息，获取集群ip列表，集群负责人列表

 List<String>ips = clusterInfo.ip;

 List<String>owners = clusterinfo.owner;

 // 集群内的每一个ip实例web-server，都需要监控

 for(each ip in ips){

  // 根据ip，url，http数据构造请求

  httpClient client = new httpClient(ip, url, getData, postData, cookieData);

  // 获取http请求执行结果

  httpResponse resp = client.execute();

  // 如果返回为200，并且包含监控项里的业务特性结果

  if(resp.code==200&& resp.contain(result)){

    //正常，继续监控

    continue;

  }

 

  // 否则，对所有集群负责人发送告警

  for(each owner in owners){

   // 取出负责人邮箱和手机号

   email =A3[owner].email;

   phone =A3[owner].phone;

   // 发送邮件与短信告警

   sendEmail(email, ip,url, owner);

   snedSM(phone, ip, url,owner);

  }

 }

}

 

把上面的伪代码多看几遍，相信一定会有收获。

 

不用纠结是用服务，还是cron，还是多线程这些细节，也不用纠结一行能不能parse完整个配置文件，用过xml的都懂，上面的配置文件只是sample示例而已。

 

这个框架的扩展性非常好，能很好的通过配置文件扩展。

monitor-item.config，监控项扩展性

• 新增html页面监控，或者json的RESTful接口监控，只需要在配置中增加一个item

• 配置支持url，get，post，cookie等参数拼装任意http监控请求

• 配置支持不同业务逻辑返回不同的result的业务特性检查

 

cluster-info.config，集群信息扩展性

• 新增集群，只需在配置中增加一个item

• 集群加了一个实例，只需增加一个ip

• 集群加了一个负责人，只需增加一个owner

 

owner-info.config，负责人信息扩展性

• 新增负责人，只需要在配置中增加一个item

• 换了手机号/邮箱，只需修改相应配置

 

提问：最后一个问题，为什么要拆分成3个配置文件，而不是只用一个？

回答：呵呵，设计解耦，我们都需要多多修炼。

推荐，强相关的两篇文章，看了理解本文更深刻：

• 集群信息管理

• 员工信息管理，告警策略管理

调研，对于http监控框架，你的感受是：

• ca，有点意思，回去整一个

• 框架化，扩展性挺好，我们公司也实现了

• 平台化，我们公司也实现了

• 弱鸡，我们的http监控比这强多了

嗯，有点道理，得转发一下。