爬取头像的程序不好用了？那就再重新做一份咯

需求分析

今天，突然有一个粉丝找到我说，“仙草哥哥，今天是开学的第一天，有一句话怎么说的来着，新学期，新气象，我也想换一个新头像。但是呢，之前你那个爬取头像的程序，不知道为什么不能用了，现在我又没有头像可以用了，怎么办呢？”

我一看，原来是前两个月更新的文章，妹子天天要换新头像？没问题，通过爬虫爬取精美头像，这里面的爬虫程序因为版本更新的缘故，现在已经不能够使用了，这怎么办呢？没关系，再重新写一份就好咯

有了上次的经验，这次的程序制作也没什么困难的，大体上的技术和上次是一样的，只要跟着模仿，就能够做出一份好的爬取头像的程序啦

实现分析

毫无疑问，本次也是使用python的requests库，这个非常方便，至于数据提取，我最近使用比较多的是parsel库，它确实是非常的好用，但是呢，由于上次我们使用的是lxml库，本次为了能够与上次的程序的运行环境兼容，同样也是使用了lxml库来进行数据的提取

lxml库的使用和parsel稍微有所不同，我们假如得到的html的响应为html，那么，使用lxml应该像这样

from lxml import etree

html = etree.HTML(html)

html.xpath()

改为使用parsel的话，应该像这样

from parse import Selector

html = Selector(html)

html.xpath()

可以看到，基本的使用是没什么区别的，只是一个是etree.HTML()，另一个是parsel.Selector()

完整代码展示

import time
import requests
from base64 import B64decode
from lxml import etree

headers = {"user-agent": "Mozilla/5.0"}
url = B64decode("aHR0cHM6Ly93d3cud295YW9nZXhpbmcuY29tL3RvdXhpYW5nLw==").decode()

r = requests.get(url, headers=headers)
r.encoding = "utf-8"

html = etree.HTML(r.text)

divs = html.xpath("//div[@class='txList ']")
for div in divs:
    title = div.xpath("./a/@title")[0] + ".png"
    u = "http:" + div.xpath(".//img[@class='lazy']/@src")[0]
    with open(title, "wb") as f:
        r = requests.get(u)
        content = r.content
        f.write(content)
    print(title + "已完成")
    time.sleep(1)

程序运行后，我们就可以看到，好看的头像已经爬取完成了

 从这里我们也可以看出，好看的头像真的是非常的好看啊

---

 好消息，好消息，炎热的夏天终于算是过完了，9月份的天气总算是稍稍凉爽了一些，我感觉我自己也可以开始正常更新文章了，真是可喜可贺。也希望大家多多支持哦，欢迎点赞收藏，关注我，每天带你用新的爬虫程序