Python 网络爬虫 002 (入门) 爬取一个网站之前，要了解的知识

网站站点的背景调研

1. 检查 robots.txt

网站都会定义robots.txt 文件，这个文件就是给 网络爬虫 来了解爬取该网站时存在哪些限制。当然了，这个限制仅仅只是一个建议，你可以遵守，也可以不遵守。但对于一个良好的网民来说，最好还是遵守robots.txt 文件里面的限制。

Q： 如何查看这个 robots.txt 文件？
A： 你只需要在 目标网站站点域名 后面加上 robots.txt 即可。
举例：目标网站站点域名：http://www.aobosir.com/ 。目标网站站点的robots.txt 文件：http://www.aobosir.com/robots.txt 。

# section 1
User-agent: BadCrawler
Disallow: /

# section 2
User-agent: *
Crawl-delay: