Python利用gevent协程和xpath正则表达式来爬取某一网站的图片

最新推荐文章于 2022-05-13 15:27:27 发布

张朝阳的博客

最新推荐文章于 2022-05-13 15:27:27 发布

阅读量281

点赞数

分类专栏： python 文章标签： python 爬虫 gevent xpath

本文链接：https://blog.csdn.net/z594934262/article/details/106225250

版权

使用Python结合gevent和xpath技术，高效地爬取了一个网站上的所有图片资源，展示了并发爬取的运行效果。

摘要由CSDN通过智能技术生成

爬虫爬取某一网站的图片，看其效果

import urllib.request
import gevent,time
from gevent import monkey
from lxml import etree


monkey.patch_all() #替换，将普通模块中的方法换为gevent中的方法
res = urllib.request.urlopen('https://www.tupianzj.com/meinv/mm/')
txt = res.read() #将html格式的网页赋值为txt
html = etree.HTML(str(txt))  #etree.HTML()方法只能分析字符串,即String
lis = html.xpath("//div[@id='container']//li//img/@src")   #选择img标签中的src属性

def work(x):
    #img_connection = urllib.request.urlopen("https://img.tupianzj.com/uploads/200514/9-200514094339638.jpg")
    #for i in range():
    img_connection = urllib.request.urlopen(lis[x])  #协程，按序打开列表中的网页
    fd = open('%d.jpg'% x,'wb')
    fd.write(img_connection.read())
    fd.close()

#img_fd = img_connection.read()

list2 = list()
for x in range(33):
    g1 = gevent.spawn(work,x) #spawn即生成函数，带入方法，方法中的参数
    list2.append(g1)

gevent.joinall(list2)  #joinall(),回收列表中的协程

运行效果: