需求分析
今天,突然有一个粉丝找到我说,“仙草哥哥,今天是开学的第一天,有一句话怎么说的来着,新学期,新气象,我也想换一个新头像。但是呢,之前你那个爬取头像的程序,不知道为什么不能用了,现在我又没有头像可以用了,怎么办呢?”
我一看,原来是前两个月更新的文章,妹子天天要换新头像?没问题,通过爬虫爬取精美头像,这里面的爬虫程序因为版本更新的缘故,现在已经不能够使用了,这怎么办呢?没关系,再重新写一份就好咯
有了上次的经验,这次的程序制作也没什么困难的,大体上的技术和上次是一样的,只要跟着模仿,就能够做出一份好的爬取头像的程序啦
实现分析
毫无疑问,本次也是使用python的requests库,这个非常方便,至于数据提取,我最近使用比较多的是parsel库,它确实是非常的好用,但是呢,由于上次我们使用的是lxml库,本次为了能够与上次的程序的运行环境兼容,同样也是使用了lxml库来进行数据的提取
lxml库的使用和parsel稍微有所不同,我们假如得到的html的响应为html,那么,使用lxml应该像这样
from lxml import etree
html = etree.HTML(html)
html.xpath()
改为使用parsel的话,应该像这样
from parse import Selector
html = Selector(html)
html.xpath()
可以看到,基本的使用是没什么区别的,只是一个是etree.HTML(),另一个是parsel.Selector()
完整代码展示
import time
import requests
from base64 import B64decode
from lxml import etree
headers = {"user-agent": "Mozilla/5.0"}
url = B64decode("aHR0cHM6Ly93d3cud295YW9nZXhpbmcuY29tL3RvdXhpYW5nLw==").decode()
r = requests.get(url, headers=headers)
r.encoding = "utf-8"
html = etree.HTML(r.text)
divs = html.xpath("//div[@class='txList ']")
for div in divs:
title = div.xpath("./a/@title")[0] + ".png"
u = "http:" + div.xpath(".//img[@class='lazy']/@src")[0]
with open(title, "wb") as f:
r = requests.get(u)
content = r.content
f.write(content)
print(title + "已完成")
time.sleep(1)
程序运行后,我们就可以看到,好看的头像已经爬取完成了
从这里我们也可以看出,好看的头像真的是非常的好看啊
好消息,好消息,炎热的夏天终于算是过完了,9月份的天气总算是稍稍凉爽了一些,我感觉我自己也可以开始正常更新文章了,真是可喜可贺。也希望大家多多支持哦,欢迎点赞收藏,关注我,每天带你用新的爬虫程序