2_Robots协议的使用

Robots协议的使用

网络爬虫 : 自动或人工识别robots.txt, 再进行内容爬取

约束性: Robots协议是建议但非约束性,网络爬虫可以不遵守,但是存在法律风险

展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 深蓝海洋 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读