Python爬虫，多线程爬取图片资源案例！

最新推荐文章于 2024-07-27 12:20:46 发布
最新推荐文章于 2024-07-27 12:20:46 发布
阅读量68 收藏 6
点赞数 2
文章标签： python 爬虫 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/minge89/article/details/140744049
版权

很久没有写爬虫了，大概率都忘记怎么写了，这不，又来翻墓志铭，来写爬虫了！

同样的，一个比较简单的网站，爬取图片资源，采用了多线程的爬取，如果爬虫想要进精，就业，那么一定要往JS逆向反爬发展，还有就是安卓移动端数据的爬取。

相比于php，还是更喜欢python，毕竟抄了那么久，白混了那么多时间，一定程度喜欢编码的原因大概率是可以随心所欲的修改，按照自己的想法，而且能够达到一定的效果，或者说，向往自由！

言归正传！

先分析网页

首页

c40e0da57d30048857f7be3162bb5807.png

分页

659d6209ee2910818656174d9b642b44.png

详情页

b190ccdb977a5be8def029a55e345eb8.png

整体结构清晰明了，还是比较简单，主要是没有反爬限制，当然访问过于频繁，还是会443的！

还有就是部分类目页面存在不一样的xpath节点，这可以基于判断来实现不同节点的处理。

关键代码片段

由于很久没写爬虫了，这里直接重温了类的写法来实现这样一个简单的爬虫，可能代码还是比较啰嗦，不够优雅！

  1. 多线程的实现两种方式

    方式一：

    def thread_imgs(self,imgs):
        threadings=[]
        for img in imgs:
            t=threading.Thread(target=self.down_img,args=(img,))
            threadings.append(t)
            t.start()

        for x in threadings:
            x.join()

        print("多线程下载图片完成！")

    方式二：

    def get_imgs(self,imgs):
        try:
            # 开4个 worker，没有参数时默认是 cpu 的核心数
            pool = ThreadPool()
            results = pool.map(self.down_img, imgs)
            pool.close()
            pool.join()
            print("采集所有图片完成！")
        except Exception as e:
            print(f"错误代码：{e}")
            print("Error: unable to start thread")

        print("多线程下载图片完成！")

  2. 详情页内容的获取及处理

    def get_detail(self,href):
        response = self.get_response(href, 6)
        html = response.content.decode('utf-8')
        tree = etree.HTML(html)
        h1=tree.xpath('//h1[@class="page-title-text"]/text()')[0]
        pattern = r"[\/\\\:\*\?\"\<\>\|]"
        title = re.sub(pattern, "_", h1)  # 替换为下划线
        path = f'{title}/'
        self.path =path
        os.makedirs(self.path,exist_ok=True)
        print(title)
        infos=tree.xpath('//dl[@class="details-list b"]//text()')
        info=''.join(infos)
        if info=='':
            infos = tree.xpath('//main[@class="product-content"]//text()')
            info = ''.join(infos)
        print(info)
        with open(f'{self.path}{title}.txt','w',encoding='utf-8') as f:
            f.write(f'{title}\n{info}')
        imgs=tree.xpath('//section[@class="gallery"]//img/@src')
        # print(len(imgs))
        if imgs==[]:
            imgs = tree.xpath('//section[@class="gallery border"]//img/@src')
        print(imgs)
        # self.thread_imgs(imgs)
        self.get_imgs(imgs)
运行效果

b39b2008d125538a49c74ef56ab6555a.png

附完整源码供参考：

# minimalissimo 网站数据采集
# 20240726 by 公众号：Python与SEO学习
# https://minimalissimo.com/page:2
# -*- coding: UTF-8 -*-

import requests
import os
from lxml import etree
import time
import random
import re
import threading
from multiprocessing.dummy import Pool as ThreadPool

class Minim(object):
    def __init__(self):
        self.ua_list = [
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1',
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36Chrome 17.0',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
        'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0Firefox 4.0.1',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
        'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
        'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
        'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
        ]
        self.pagenum=108
        self.url="https://minimalissimo.com"
        self.path=None


    def get_response(self,url,time):
        ua = random.choice(self.ua_list)
        headers={
            'User-Agent':ua,
        }
        response=requests.get(url=url,headers=headers,timeout=time)
        return response

    def get_urls(self,page):
        url=f'{self.url}/page:{page}'
        response=self.get_response(url,6)
        html=response.content.decode('utf-8')
        tree=etree.HTML(html)
        hrefs=tree.xpath('//article[@class="thumb b"]/a[@class="thumb-content"]/@href')
        # print(len(hrefs))
        print(hrefs)
        return hrefs



    def get_detail(self,href):
        response = self.get_response(href, 6)
        html = response.content.decode('utf-8')
        tree = etree.HTML(html)
        h1=tree.xpath('//h1[@class="page-title-text"]/text()')[0]
        pattern = r"[\/\\\:\*\?\"\<\>\|]"
        title = re.sub(pattern, "_", h1)  # 替换为下划线
        path = f'{title}/'
        self.path =path
        os.makedirs(self.path,exist_ok=True)
        print(title)
        infos=tree.xpath('//dl[@class="details-list b"]//text()')
        info=''.join(infos)
        if info=='':
            infos = tree.xpath('//main[@class="product-content"]//text()')
            info = ''.join(infos)
        print(info)
        with open(f'{self.path}{title}.txt','w',encoding='utf-8') as f:
            f.write(f'{title}\n{info}')
        imgs=tree.xpath('//section[@class="gallery"]//img/@src')
        # print(len(imgs))
        if imgs==[]:
            imgs = tree.xpath('//section[@class="gallery border"]//img/@src')
        print(imgs)
        # self.thread_imgs(imgs)
        self.get_imgs(imgs)



    def thread_imgs(self,imgs):
        threadings=[]
        for img in imgs:
            t=threading.Thread(target=self.down_img,args=(img,))
            threadings.append(t)
            t.start()

        for x in threadings:
            x.join()

        print("多线程下载图片完成！")



    def get_imgs(self,imgs):
        try:
            # 开4个 worker，没有参数时默认是 cpu 的核心数
            pool = ThreadPool()
            results = pool.map(self.down_img, imgs)
            pool.close()
            pool.join()
            print("采集所有图片完成！")
        except Exception as e:
            print(f"错误代码：{e}")
            print("Error: unable to start thread")

        print("多线程下载图片完成！")


    def down_img(self,img):
        imgname=img.split('/')[-1]
        print(f">>开始下载图片：{imgname}")
        r=self.get_response(img,6)
        with open(f'{self.path}{imgname}','wb') as f:
            f.write(r.content)
        print(f"下载图片：{imgname}完毕！")



    def main(self):
        for page in range(1,self.pagenum+1):
            print(f">>正在爬取第{page}页列表页数据内容..")
            hrefs=self.get_urls(page)
            for href in hrefs:
                print(f">>正在爬取详情页{href}数据内容..")
                self.get_detail(href)
                print(f">>爬取详情页{href}数据内容成功！")
                time.sleep(8)
            print(f">>爬取第{page}页列表页内容成功！")
            time.sleep(6)



if __name__=='__main__':
    spider=Minim()
    spider.main()

·················END·················

你好，我是二大爷，

革命老区外出进城务工人员，

互联网非早期非专业站长，

喜好python，写作，阅读，英语

不入流程序，自媒体，seo . . .

公众号不挣钱，交个网友。

读者交流群已建立，找到我备注 “交流”，即可获得加入我们~

听说点 “在看” 的都变得更好看呐~

关注关注二大爷呗~给你分享python，写作，阅读的内容噢~

扫一扫下方二维码即可关注我噢~

599c33de1ec6aab8c6f31dc295364f0a.jpeg

75a2e1d44b33ce3e9522d5d056431245.png

关注我的都变秃了

说错了，都变强了！

不信你试试

4b43286956c1f9031ace7679065f5623.jpeg

扫码关注最新动态

公众号ID：eryeji

二爷记
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫|批量爬取表情包——多线程案例
独学而无友，则孤陋而寡闻
03-12 888
公众号：爬虫与地理信息 网站的名字就叫：发表情，点击进入主页。 一、爬取思路分析 1.网页结构分析 首先打开网站标签项主页：https://www.fabiaoqing.com/tag ，如下图所示： 可以看出，每一页都是由很多标签栏组成的，每个标签栏代表一类表情。随便点击一个标签，即可进入下一级页面。下图就是兔子表情包页面。 再点击表情即可进入最后一层页面，便是每个表情的大图了。 总结一下我们的爬取思路：首先访问某一页链接地址，得到许多表情标签。然后依次访问各个标签，进入各标签 表情页面，再保.
多线程爬虫——图片爬取
King
02-29 3075
斗图啦表情包+B站壁纸娘相册+某博客的文章头图
【Python 爬虫】多线程爬取
热门推荐
懂得一千零一种,赋予你失败的方法！
03-20 2万+
文章目录前言一、多进程库（multiprocessing）二、多线程爬虫三、案例实操四、案例解析1、获取网页内容2、获取每一章链接3、获取每一章的正文并返回章节名和正文4、将每一章保存到本地5、多线程爬取文章 前言 简单的爬虫只有一个进程、一个线程，因此称为单线程爬虫。单线程爬虫每次只访问一个页面，不能充分利用计算机的网络带宽。一个页面最多也就几百KB，所以爬虫在爬取一个页面的时候，多出来的网速和从发起请求到得到源代码中间的时间都被浪费了。如果可以让爬虫同时访问10个页面，就相当于爬取速度提高了10倍..
python爬取网页图片并下载之多线程
AZURE060606的博客
12-22 1478
在python爬虫的学习中，即使是多线程也并不是我们最终的手段，在高级点的项目中，我们可能会用到其他的类似于Scrapy的爬虫框架Scrapy使用Twisted框架作为其底层网络引擎，利用异步IO技术来实现高效的网络请求和数据处理，并且其内置了大量的组件和模块包，还支持数据库处理这些在日后笔者也会慢慢更新。.png"
爬虫(17)多线程练习 图片爬取案例
m0_46738467的博客
02-01 897
文章目录爬虫(17)多线程练习 图片爬取案例1. 多线程练习2. 王者荣耀案例思路分析2.1 第一种方法：直接在Previews里面找2.2 第二种方法：通过json.cn网站解析 爬虫(17)多线程练习 图片爬取案例 1. 多线程练习 我们对多线程的特点进行一下解释： 进程：系统中正在运行的应用程序。 单核的cpu一次只能执行一个进程，其他的进程处于非运行状态。多软件打开的时候，cpu在快速切换，由于速度之快，我们感受不到切换。 多核的cpu可以同时执行多个进程。 线程：进程中包含的执行单元。 一个进程可
python爬虫之多线程threading、多进程multiprocessing、协程aiohttp 批量下载图片
10-21 1万+
对于多任务爬虫来说，多线程、多进程、协程这几种方式处理效率的排序为：aiohttp协程 > 多线程 > 多进程。但是aiohttp协程难度有点复杂，需要了解，而且本人目前没有解决协程下载大尺寸图片不完整的情况，还需要后续继续学习。
Python多线程爬虫—批量爬取豆瓣电影动态加载的电影信息（小白详细说明自己对于多线程了解）
cc的博客
04-17 3448
单线程与多线程爬取时间比较 最近听取了老师的建议，开始对多线程爬虫进行自学，在进行多线程爬虫实战之前我做了三点准备，并将准备时所学的东西已写成博文与大家分享，兄你们要是感兴趣的话可以看一看喔????要是有什么错误的地方可以直接评论私信我 Python—多线程编程（一）线程的创建，管理，停止 Python—多线程编程（二）线程安全（临界资源问题和多线程同步） Python—Queue模块基本使用方法详解 ...
python爬虫多线程实战：爬取美桌1080p壁纸图片
程序员小芽的博客
06-30 79
Python，可以帮忙抢票，可以爬虫东西，关于Python爬虫怎么做？今天教大家一个案例，python爬虫多线程实战：爬取美桌1080p壁纸图片。
v博Python爬虫实战案例，多线程实现3小时100万量
Python爬虫各种技术解决方案记录
06-21 1023
需求：抓取某微博用户里的粉丝信息，通过抓包分析，可以看到有个friends的数据包就有我们想要的信息：每个包只有20条数据，再来翻页抓下一个包：对比两个包，很明显page数就是下一页，uid是用户id，用户id也就是用户主页链接的后面一段，type直接固定fans就行上Pycharm，构建传参和headers，这里注意要登录后的cookie： 测试数据没问题，但是每个用户粉丝............
Python爬虫项目之爬取校花图片.zip
05-30
在这个名为“Python爬虫项目之爬取校花图片”的案例中，我们将学习如何利用Python来爬取网页上的校花图片。 首先，我们需要了解Python中的几个关键爬虫库。其中最常用的是BeautifulSoup和Requests。Requests库用于...
Python爬虫实战之爬取网站全部图片.rar
05-08
在Python编程领域，爬虫是一项重要的技能，尤其对于数据...通过实践这个案例，你不仅可以掌握Python爬虫的基本技巧，还能了解到如何结合多线程进行高效的图片下载。这将对你在数据分析、信息提取等领域的工作大有裨益。
python爬虫工程（爬取图片、爬取京东商城评论）
03-08
在这个案例中，我们有两个重点：爬取图片和爬取京东商城的全部评论。 首先，让我们深入理解爬取图片的过程。在Python中，常用的库如`requests`用于发送HTTP请求，`BeautifulSoup`或`lxml`用于解析HTML文档，而`os`...
python协程gevent案例 爬取斗鱼图片过程解析
09-18
在这个案例中，我们将探讨如何使用 Gevent 和 Python 进行斗鱼图片的爬取。 首先，我们需要理解协程的基本原理。与传统的多线程或多进程模型不同，协程并不创建新的执行上下文，而是共享同一个线程，通过切换执行...
快醒醒，别睡了!...讲《数据分析pandas库》了—/—＜4＞
最新发布
qq_64603703的博客
07-27 649
详细解说数据分析pandas库中的常用方法
随机数种子的作用
帆的博客
07-23 1290
设置随机数种子（random seed）的目的是为了确保随机数生成器在每次运行时产生相同的随机数序列，从而保证实验结果的一致性。随机数种子通过初始化随机数生成器的内部状态，使得在相同的种子值下，随机数生成器每次调用时生成的序列是相同的。
全网最详细Gradio教程系列5——Gradio Client: python
shao918516的博客
07-26 760
程序部署完成后，如何将Gradio App作为API访问使用呢，这就用到Gradio Client。本章讲解Gradio Client的三种使用方式：python、javascript和curl，受字数限制，所以分三篇博客发布。 使用Gradio Python Client非常易于将Gradio应用程序作为API使用，本节讲述gradio_client安装、如何连接Gradio应用程序、查看可用API及其使用方式、job及session等用法。 通过Gradio Python Cli
全面解析 SnowNLP：中文文本处理、情感分析
有勇气的牛排博客
07-24 466
SnowNLP 是一个专门用于处理中文文本的 Python库。分词情感分析关键词提取文本分类拼音转换繁体转简体词相似度计算等测试环境：Python3.10.9尚未测出该功能text = "有勇气的牛排写的文章通俗易懂，爱了爱了"文本分类使用的是 SnowNLP 的情感分析模型。
Python多线程爬取图片
03-29
以下是Python多线程爬取图片的代码示例： ```python import requests from bs4 import BeautifulSoup import threading def download_image(url, filename): response = requests.get(url) with open(filename, "wb") as f: f.write(response.content) def crawl_images(url): response = requests.get(url) soup = BeautifulSoup(response.content, "html.parser") images = soup.find_all("img") for i, image in enumerate(images): image_url = image["src"] filename = "image{}.jpg".format(i) t = threading.Thread(target=download_image, args=(image_url, filename)) t.start() if __name__ == "__main__": url = "https://www.example.com" crawl_images(url) ``` 该代码首先定义了一个`download_image`函数用于下载图片，然后定义了`crawl_images`函数用于爬取图片链接，并创建多线程下载图片。最后，使用`if __name__ == "__main__":`语句调用`crawl_images`函数，传入需要爬取的网站URL。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值