首先,我们打开该网站https://unsplash.com/,发现,这个网站是动态网站
但是,不要慌张,我们看看他的网页结构,用Network打开看看相关信息
我们发现了这样的一个链接
咦,很明显,这个是图片的显示的页数和其他的一些东西,打开这个文件下的Request URL: https://unsplash.com/napi/photos?page=3&per_page=12,进去之后,我们发现他是这样的一个结构
里面有id等等各种信息,粗看不打紧,细看我们发现了"download":这个东西,后面还有链接,打开一看正是我们需要下载图片的链接,因此,我们就可以开始构造我们的爬虫项目了。
1.先确定我们用什么库爬,可以用requests,urllib.request,我建议request方便。
2.用什么方式提取到我们所需要的图片链接呢?在此,我建议用re正则表达式!
好,现在开始爬取了
导入库