robots.txt 浅析

最新推荐文章于 2024-08-14 16:31:41 发布

dsjdjsa

最新推荐文章于 2024-08-14 16:31:41 发布

阅读量477

点赞数

分类专栏： Python-网页爬取文章标签： robots-txt 网页爬取爬虫 python

本文链接：https://blog.csdn.net/qq_21046135/article/details/71436710

版权

Python-网页爬取专栏收录该内容

9 篇文章 0 订阅

订阅专栏


// The "User-agent: BadCrawler" means this section applies to BadCrawler.
// The "User-agent: *" means this section applies to all robots.
// The "Disallow: /" tells the robot that it should not visit any pages on the site.

// section 1，禁止 User-agent 中的用户代理爬取该网站
# section 1
User-agent: BadCrawler
Disallow: /

// section 2，无论何种代理，在两次下载请求之间给出 5 秒的延迟，否则会封禁你的 IP 一段时间或者永远封禁
# section 2
User-agent: *
Crawl-delay: 5
Disallow: /trap 

// section 3，网站提供的 Sitemap 文件（网站地图）可以帮助爬虫定位最新的内容，而无需爬取每一个网页
# section 3
Sitemap: http://example.webscraping.com/sitemap.xml