python基础爬虫——单线程多线程爬取图片

最新推荐文章于 2024-01-29 11:13:08 发布

原创

最新推荐文章于 2024-01-29 11:13:08 发布 · 597 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文介绍了使用Python进行网页图片爬取的基础知识，包括单线程和多线程两种方式。通过实例展示了如何在Python中实现这两种技术，以提高图片下载效率。

困于心衡于虑而后作
今天的学习目标是：单线程与多线程爬取网页图片
python单线程：

# 指定一个网站，可以爬取这个网站中的所有的图像文件，同时把这些文件保存到程序所在文件夹的images子文件夹中
# 首先设计一个单线程爬取程序，这个程序会因网站的某个图像下载过程而效率缓慢
# 此外设计一个多线程爬取程序，在多线程程序中如果一个图像下载缓慢，
# 那么也就是爬取它的那个线程缓慢，而不影响其他的爬取过程

# 单线程爬取图像程序

from bs4 import BeautifulSoup
from bs4 import UnicodeDammit
import urllib.request


def imageSpider(start_url):
    try:
        urls = []
        req = urllib.request.Request(start_url, headers=headers)
        data = urllib.request.urlopen(req)
        data = data.read()
        dammit = UnicodeDammit(data, ['utf-8', 'gbk'])
        data = dammit.unicode_markup
        soup = BeautifulSoup(data, 'lxml')
        images = soup.select('img')
        for images in images:
            try:
                src = images['src']
                url = urllib.request.urljoin(start_url, src)
                if url not in urls:
                    urls.append(url)