一、爬虫准备
语言:python
浏览器:google chrome
工具:request模块
首先我们在百度图片搜索页面输入需要搜索的关键词(比如:明星)页面结果如下
image.png
按F12进入开者,随便检查列表一张图片 可以看到找到图片的地址,copy src里面的图片地址
https://ss1.bdstatic.com/70cFvXSh_Q1YnxGkpoWK1HF6hhy/it/u=371978350,138525231&fm=26&gp=0.jpg,待用
image.png
选择Network All ,刷新一下页面,看到和浏览器一样的请求,类型为document
image.png
这个就是浏览器返回的页面,点击这个请求,并cont+f查找刚才复制的图片地址,可以发现能在js代码中找到该图片地址,也就是这个页面的图片地址不是静态页面生成的,是js动态生成的。这样不能通过request.get(url)审查元素获取图片地址,不过也可以通过正则表达式来获取js代码里面的图片地址,这样方式我不推荐
image.png
im