去搜
user-agent!!!!
referer!!!!!
网页中怎么查看请求头header信息
点一下Name里的东西就会出来
规模大小分类
robots协议
User-agent: * /// user-agent: * :指任何网络爬虫都不允许 通配符
Disallow: /?* ///disallow : 指不允许访问的资源的目录
Disallow: /pop/*.html
Disallow: /pinpai/*.html?*
User-agent: EtaoSpider
Disallow: / 下面的是四个不允许的爬虫(是四个购物助手)
User-agent: HuihuiSpider
Disallow: /
User-agent: GwdangSpider
Disallow: /
User-agent: WochachaSpider
Disallow: /