先看看当当网的图片
查看一下页面源码找到我们要爬的图片数据格式和位置
图片数据存放的很容易取,用正则表达式来匹配:
r"
导入需要的包
import urllib.requestimport re
import osimport sys
import ssl
设置请求头
在请求网页爬取的时候,输出的text信息中会出现抱歉,无法访问等字眼,这就是禁止爬取,需要通过反爬机制去解决这个问题。
headers是解决requests请求反爬的方法之一,相当于我们进去这个网页的服务器本身,对反爬虫网页,可以设置一些headers信息,模拟成浏览器取访问网站 。
怎么查看请求头
首先在当前网页右键,查看页面源码。或者F12键「不同系统查看方式不太一样」。
然后在Network一栏找到Doc,如下对应的位置就是我们本机的请求头了。
注意:
headers中有很多内容,主要常用的就是user-agent 和 host,他们是以键对的形式展现出来,如果user-agent 以字典键