robots协议

在我们用爬虫去爬取数据时，有些网站不会阻止，但有的网站就不会那么轻松的把数据交给你爬取，所以就有了 反爬机制。那我们就想要有反爬机制的数据怎么办，于是就有了反反爬策略。

反爬机制

门户网站可以制定相应的策略和技术手段，阻止爬虫程序对网站数据的爬取。

反反爬策略

爬虫程序通过制定相应的策略和技术手段，破解门户网站中具备的反爬机制，从而可以获取网站的数据。

它们的关系就很像矛和盾，之后我们会接触到很多的反爬机制，也会学习到很多的反反爬策略。现在就来学习一种最简单的反爬机制robots协议也叫君子协议。

robots.txt协议

规定了网站中那些数据可以爬取那些数据不可以爬取。但没有采取任何防御措施，遵不遵守就看你自己，所以也叫君子协议。

以百度为例打开 https://www.baidu.com/robots.txt 就可以看到百度的robots协议。