爬取某图片网站任意标签的所有图片，本文以Cosplay标签为例

最新推荐文章于 2022-09-29 14:34:58 发布

逆写序章

最新推荐文章于 2022-09-29 14:34:58 发布

阅读量405

点赞数

分类专栏： Python 文章标签： python 爬虫

本文链接：https://blog.csdn.net/weixin_46274109/article/details/115773389

版权

本文演示如何使用Python爬虫技术，以Cosplay为示例，爬取特定标签下的所有图片资源，仅供学习交流。

摘要由CSDN通过智能技术生成

可爬取任意标签，以cosplay标签为例代码如下，仅做学习交流使用

from urllib.request import urlopen
from bs4 import BeautifulSoup
from urllib.request import  urlretrieve
from urllib.error import HTTPError
import os
import re
url_cosplay = "https://www.tujigu.com/s/36/"#所要爬取的根网页地址，可根据需求修改此处
total_image_name = 1
total_file_name =1
def getImage(url,file):#下载图片，url为下载的url，f为保存的文件夹名称
    if not os.path.exists('E:/spiders/%s'%file):
        os.makedirs('E:/spiders/%s'%file)
    content = getContent(url)
    count = 2
    x = 1
    fdir = 'E:/spiders/'+str(file)+'/'
    while content is not None:
        if count==2:#判断是否是第一次进入
            content = getContent(url)
        else:
            content = getContent(urlnext)
        if content == None:#当内容为空，下载完毕
            print("下载完毕"