朋友公司是做广告的公司。他们的业务系统非常庞大,处理了每天几十亿的请求。
包括:用户点击广告后的跳转,接口转发,扣费等一系列的业务。
但是总是有接近5%的业务在内部接口中未被命中。给公司造成了每天数万的损失。公司一帮同事查询业务查询了一个月,最终确定了业务的问题:
公司内部大量使用接口化处理数据,每秒中都有数千秒的请求经过转发。最终发现问题的原因竟然来自于——DNS服务器。DNS服务器未缓存对应的域名解析,在内网中造成请求过高从而处理不了,造成了丢包。
内网处理中也请注意DNS的情况。避免DNS造成速度过慢或者请求丢失。