搜集Web信息 1.goole常见语法 关键字说明site指定域名intext正文中关键字intitle标题中关键字info基本信息inurlURL中关键字filetype指定文件类型 2.爬虫探测 robots.txt 爬虫根据robots.txt中内容进行爬取,如果不允许某个页面被爬取到,可以编辑robots.txt放在网站根目录下