爬虫 robots.txt

爬虫要合法，登录的网站带token的不好说。公开数据一般是没问题的，但也要合规。

robots.txt是行业约定俗成的规范，遵守合理爬取。

它的访问方式也很简单，在根目录后加/rebots.txt即可，比如下面：

 书写规范等可以参考百度百科。

按照rebots.txt内容去爬的话，即使你是被告，也是大概率赢。

参考：

百度百科：https://baike.baidu.com/item/robots%E5%8D%8F%E8%AE%AE/2483797?fromtitle=robots.txt&fromid=9518761&fr=aladdin

知乎文章：https://zhuanlan.zhihu.com/p/65463520