【随笔】网站被谷歌搜索引擎爬取crawl-66-249-79-2

我正在公网网站上测试时，每当查看日志时，都会发现除了我的访问，还出现了许多陌生访问。于是进入后台查看到底是谁在访问。
输入命令netstat:

从图中可以看到，有一个叫做crawl-66-249-79-2的机器跟我的网站建立了多个连接。
于是百度查询这个名称，才知道这是谷歌的爬虫。
服务器就在美国，刚上传完文档没几天就被爬了，只是服务器内存只有512M，而文档多为500k~2M之间的大文档，均为一次性加载，被谷歌爬的过程中内存占用一直比较大。