爬虫要合法,登录的网站带token的不好说。公开数据一般是没问题的,但也要合规。
robots.txt是行业约定俗成的规范,遵守合理爬取。
它的访问方式也很简单,在根目录后加/rebots.txt即可,比如下面:
书写规范等可以参考百度百科。
按照rebots.txt内容去爬的话,即使你是被告,也是大概率赢。
参考:
爬虫要合法,登录的网站带token的不好说。公开数据一般是没问题的,但也要合规。
robots.txt是行业约定俗成的规范,遵守合理爬取。
它的访问方式也很简单,在根目录后加/rebots.txt即可,比如下面:
书写规范等可以参考百度百科。
按照rebots.txt内容去爬的话,即使你是被告,也是大概率赢。
参考: