python图片爬虫 - 实现unsplash批量下载

前言

unslpash绝对是找图的绝佳场所, 但是进网站等待图片加载真的令人捉急, 仿佛是一场拼RP的战争 然后就开始思考用爬虫帮我批量下载, 等下载完再挑选, 操作了一下不算很麻烦, 顺便也给大家提供一个粗糙的批量下载图片的思路.

分析

1. 进入网站发现不存在翻页, 一直下滑就会一直就内容, 考虑是Ajar
   右键, 进入检查->NetWork->XHR, 查看一下页面的规律 https://unsplash.com/napi/search/photos?query=输入的查询关键字&xp=&per_page=每页的图像个数&page=第几页

2. 获取了页面URL之后再来看看每次下载的图片的地址的规律https://images.unsplash.com/photo-1514883212130-343c0e4bd349?ixlib=rb-1.2.1&q=85&fm=jpg&crop=entropy&cs=srgb&dl=anh-nguyen-FZZkQZDQCtw-unsplash.jpg看起来很复杂的亚子, 先不管, 去响应内容里面看看有没有什么能用的, 来构造出这个复杂的URL

3. 分析响应内容
   
   每一条都对应着该页的一个图片信息, 我们点开第一个看看
   
   
   可以看到第三行中有一个名为id的键对应的值为FZZkQZDQCtw, 在下载的URL中出来了.
   
   再往下翻, user中的name对应的值是不是和下载的URL中出现的anh-nguyen很像?只是分隔符不同.
   
   距离拼出来下载URL已经成功了一半, 前面还有一大串东西没有找出来, 再去urls中找找
   
   可以发现第一个full对应的url和下载url相似程度极高, 但是又多出来了一部分, 这个直接切片即可

至此构造下载URL需要的碎片已全部集齐, 马上就可以召唤神龙.

程序