Bot-Detection机器人检查组件,主要是为了对发送请求的工具进行筛选的。这个插件针对的是机器人或者爬虫,因为我们的网关可能在公网上发布API,或者作为OpenAPI平台运营API。这些爬虫不断循环请求我们的服务,不遵守规范的低级爬虫会给我们的服务带来很大的性能问题。
该插件的原理主要是来检测请求头部的User-Agent,一般API请求都会包含这个信息。这是一个特征字符串,用来让网络协议的对端来识别发起请求的用户代理软件的应用类型、操作系统、软件开发商以及版本号。
User-Agent: /
比如我用POSTMAN来调用,我们会发现User-Agent是这样的:
那么拿一个服务来测试,按照上图中我们要检测火狐的请求并认定为机器人拒绝。火狐和Chrome的特征码如下:
火狐: Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:47.0) Gecko/20100101 Firefox/47.0
Chrome: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36
那么通过kong的管理平台来配置test-service服务的blacklist= .Firefox.。
再使用火狐调用:
使用Google Chrome来调用:
可以看到,火狐请求已经被禁用了。下面再说明以下机器人检测插件的几个参数:
config.whitelist :白名单,逗号分隔的正则表达式数组。正则表达式是根据 User-Agent 头部匹配的。
config.blacklist :黑名单,逗号分隔的正则表达式数组。正则表达式是根据 User-Agent 头部匹配的。
这个插件已经包含了一个基本的规则列表,这些规则将在每个请求上进行检查。可以在GitHub上找到这个列表 https://github.com/Kong/kong/blob/master/kong/plugins/bot-detection/rules.lua.