日志文件分析溯源(Google蜘蛛)

用记事本打开，常见的Google蜘蛛有两种。
一种是搜索引擎使用的Googlebot，它会访问制定的网页，收集该网页上的链接，而且会顺着这些链接找其他的网页。
还有一种叫做Mediabot，这种蜘蛛也是Google的，它的目的是抓取网页来匹配Google AdSense与相关内容的广告。
搜索googlebot，发现来自于210.185.192.212的get请求{210.185.192.212 - - [27/Sep/2018:18:15:24 +0800] “GET /home/goods/lists/cat/48.html HTTP/1.1” 200 140553 “http://210.5.56.14/home/goods/lists/cat/47.html” “x1cMozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)x1d”}
输入ip，得到key