爬虫采坑: Server returned HTTP response code: 403 for URL:

2019独角兽企业重金招聘Python工程师标准>>>

爬虫爬取图片报403 （url获得输入流时403），这是因为缺少请求头

报错信息： Server returned HTTP response code: 403 for URL:

 HTTP 403命令是禁止恶意访问此网站，不能从此网站中抓取内容。

 如果是服务器端禁止抓取,那么这个你可以通过设置User-Agent来欺骗服务器.

不仅仅要在网页请求中添加

 

下载图片时发起请求也要加

 

转载于:https://my.oschina.net/zjllovecode/blog/1585479