爬虫爬取wallpaperswide上的高清壁纸

本文需要用到的库：  BeautifulSoup  Requests  re  os  Pool

这是我第一次写博客，可能布局不够美观，思路讲述不够清晰，请见谅，废话不多说，直接整：

一，分析网页

 

        本次要爬取的网站是：http://wallpaperswide.com/ 首先，打开网页，你会看到如下界面：

界面左边是图片的分类，中间是首页图片，打开浏览器的开发者工具，然后随便选中一个图片（鼠标右键，检查），就比如我选中了第一张图片

可以得到如图的信息，这次我们需要的是其中的href="/shadow_of_the_tomb_raider_2018_puzzle_video_game-wallpapers.html"，这个具体有什么用，我稍后再说，接下来，我们继续点击刚才那张图片（注意，当鼠标放到图片上时，图片上会出现一个向下的箭头，我们不要点他，应该点击它旁边的位置）如图：

点击后将进入以下界面：

图片下面那些就是可供选择的分辨率，再次鼠标右键检查，点击一个你想要的分辨率，如图：

我们又得到了一个‘href’，如果你点击它，你就会弹出下载提示，所以，我们要爬取的目标就是这个下载链接，但是如果按照之前的步骤获取链接，个人认为太麻烦，经过我对下载链接的观察，我发现了一些规律：

我们将之前获取的链接 href="/shadow_of_the_tomb_raider_2018_puzzle_video_game-wallpapers.html"与刚才的链接对比

可以发现，他们有相同的部分：shadow_of_the_tomb_raider_2018_puzzle_video_game-wallpapers，所以我大胆猜测这是这张图片的名字（不信的可以照之前的步骤看看其他图片），后面的-1920*1080就是图片的分辨率，因此我们可以得出一个有效下载链接的基本结构：

/download/+'图片名字'+‘-’+‘分辨率’+‘.jpg’,有没有觉得少了点什么？/download前面是不是应该还有东西呢？答案是有的&#x