python 爬关键词_python爬虫：基于关键词和分类爬取wallheaven上的图片

闲来无事，我打算爬一下壁纸，选好wallheaven作为目标之后，经过一番折腾，我写出了一段代码，顺利完成了目标。

一.爬虫第一步自然是上要爬到的网站，进入开发者模式，查看网页结构。我进入wallheaven网站之后，输入关键词“lake”，只勾选选项“Anime”，结果查找到36张动漫壁纸。在我看来这已经足够了。接着，打开F12打开开发者模式，查看代码。

我的目标是找到所搜到图片的总数和图片的链接地址。如图所示

Screenshot_2019-02-10_00-30-49.png

从这张图片可以看到网页节点之间的层次关系，而我们所需要的节点是body/main/header/h1,需要提取其中的文本“36 Wallpapers found for”，在这里可以使用XPath来获取节点信息，语句可以写为：//header[@class="listing-header"]/h1[1]/text()。

表达式 描述

nodename 选取此节点的所有子节点

/ 从当前节点选取直接子节点

// 从当前节点选取子孙节点不管隔了多少代

. 选取当前节点

@ 选取属性

由此看来//header[@class="listing-header"]/h1[1]/text()就是选取了class属性为“listing-header”的header的子节点h1的文本，那就是“36 Wallpapers found for”。

接下来，找图片链接。

Screenshot_2019-02-10_00-57-45.png

同理，要获取的信息是"https://alpha.wallhaven.cc/wallpaper/148364",用xpath的话就要写：

//a[@class="preview"]/@href 。

二，既然网页已经研究够了，那么可以写代码了。

1.导入需要的模块，具体什么模块自己去查。

# -*- coding: utf-8 -*-

"""

Created on Wed Jan 30 17:58:50 2019

@author: yuyuko

"""

#wallhaven爬取

import os

from urllib.parse import urlencode

import time

from requests import codes

import random

import requests

from lxml import etree

2.定义创建文件路径函数，将下载的文件存储到该路径。

def CreatePath(filepath):

if not os.path.exists(filepath):

os.makedirs(filepath)

def GetUrl(keyword,category):

params = {

'q': keyword,

'categories': category,

'purity': '110',

'sorting': 'relevance',

'order':'desc'

}

base_url='https://alpha.wallhaven.cc/search?'

url=base_url + urlencode(params)

return url

4.这里要用到上面说的东西了，获取查找到的图片数。

def GetPictureNum(url):

allpic=" "

try:

html = requests.get(url)

if codes.ok == html.status_code:

selector = etree.HTML(html.text)

pageInfo = selector.xpath('//header[@class="listing-header"]/h1[1]/text()')#提取出文本

string = str(pageInfo[0])#图片数是文本中的第一个

numlist = list(filter(str.isdigit,string)) #有些数字是这样的，11,123,所以需要整理。

for item in numlist:

allpic+=item

totalPicNum=int(allpic) #把拼接起来的字符串进行整数化

return totalPicNum

except requests.ConnectionError:

return None

5.定义函数获取图片链接。这里用到我们上面分析的xpath获取图片信息。

def GetLinks(url,number):

urls=url+'&page='+str(number)

try:

html=requests.get(urls)

selector=etree.HTML(html.text)

PicLink=selector.xpath('//a[@class="preview"]/@href')#这里寻找图片的链接地址，以求得到图片编号

except Exception as e:

print('Error',e.args)

return PicLink

6.现在可以定义一个下载函数了。

def Download(filepath,keyword,url,count,headers):#其中count是你要下载的图片数

#此函数用于图片下载。其中参数url是形如：https://alpha.wallhaven.cc/wallpaper/510308的网址

#510308是图片编号，需要构造html，html是图片的最终直接下载网址。

#因为wallheaven上只有两种格式的图片，分别是png和jpg，所以设置两种最终地址HtmlJpg和HtmlPng，通过status_code来进行判断，状态码为200时请求成功。

string=url.strip('https://alpha.wallhaven.cc/wallpaper/')

HtmlJpg='http://wallpapers.wallhaven.cc/wallpapers/full/wallhaven-' + string+'.jpg'

HtmlPng='http://wallpapers.wallhaven.cc/wallpapers/full/wallhaven-' + string+'.png'

try:

pic=requests.get(HtmlJpg,headers=headers)

if codes.ok==pic.status_code:

pic_path=filepath+keyword+str(count)+'.jpg'

else:

pic=requests.get(HtmlPng,headers=headers)

pic_path=filepath+keyword+str(count)+'.png'

with open(pic_path,'wb') as f:

f.write(pic.content)

f.close()

print("Downloaded image:{}".format(count))

time.sleep(random.uniform(0,3))#这里是让爬虫在下载完一张图片后休息一下，防被侦查到是爬虫从而引发反爬虫机制。

except Exception as e:

print(repr(e))

7.主函数在这里。

def main():

headers = {

"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5)\

AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36",#请求头，这个可以通过查看你自己的浏览器得到。

}

filepath = ('/home/yuyuko/Pictures/')#存储路径。

keyword=input('请输入关键词:')

category=input('请输入图片分类，共有三种，分别为Gneral,Anime,People三种\

，如果你想要只想选择Anime，就键入010,如果全选就键入111,以此类推:')

CreatePath(filepath) #创建保存路径

url=GetUrl(keyword,category) #获取url

PicNum=GetPictureNum(url)#总图片数

pageNum=int(PicNum/24+1) #求出总页面数

print("We found:{} images.".format(PicNum))

Num=int(input("请输入你想要爬的图片数，不能超过已找到的图片数:"))

j=1

for i in range(pageNum):

PicUrl=GetLinks(url,i+1)

for item in PicUrl:

Download(filepath,keyword,item,j,headers)

j+=1

if(j>Num):#如果你下载的图片够用了，那就直接退出循环，结束程序。

break

else:

pass

break

if __name__ == '__main__':

main()

运行结果是：

Screenshot_2019-02-11_00-21-38.png

找到489张图片，下载三张图片。