python多线程爬虫-下载wallhaven超清壁纸

最新推荐文章于 2024-04-11 22:02:05 发布
最新推荐文章于 2024-04-11 22:02:05 发布
阅读量1.3k 收藏 1
点赞数 1
文章标签： python 爬虫 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_68789096/article/details/132470478
版权

9-wallhaven-exwgw8.png

大家好我是前端少年汪！痴迷技术，对programming有着极大的兴趣和爱好。 从明天起，做一个新思维的人 继承，多态，层层封装 从明天起,不再关心内存管理 让每一条数据，自动放到合适的位子上 从明天起，我将为每一个对象 取一个温暖的名字 它们用驼峰命名，优雅，大方 陌生人，我也祝福你哈 愿你不再为系统级bug烦恼 愿你在平台之间肆意游荡 愿你不再关心溢出与异常

爬取的目标网站：wallhaven.cc/

image.png

使用到的库：

  • requests
  • Xpath

分析目标网站的DOM结构

我们可以看到这个网站总共分为六个大的模块：Latest，Hot，Toplist，Random，Upload，Forums 我爬取的主要是latest，hot，toplist，random这四个模块的图片. 这四个模块对应的url网址分别为：

图片的预览页面 image.png

这里可以看到page=2的页面总共🈶️24张图片，这个只是缩略图，点击单个item项就可以进入到图片的详情页，可以看到对应的图片的详情页面的url在section>ul>li>figure>a标签的href属性中。

图片的详情页 image.png

可以看到真正的图片的url是存在于img标签的src属性，只要我们拿到这个图片的地址就可以下载图片到本地了。

梳理一下逻辑：

  1. 请求latest，hot，toplist，random四个模块中的任意一个页面获取到缩略图的a标签里面的url，保存到一个列表里面
  2. 遍历缩略图列表，获取详情页img标签的src图片地址
  3. 请求图片地址，下载保存到本地

大概的逻辑就是这么简单

代码实现

导入相关包，定义全局变量
import os
import threading

import requests
from lxml import etree

"""
爬取网站：https://wallhaven.cc/
"""
# 伪装浏览器请求
headers = {
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36'
最低0.47元/天 解锁文章
Python_魔力猿
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
壁纸网站研究：强大到没朋友的壁纸网站整理（动漫/二次元/宅男/风景/真人）
dreaman2010的博客
04-29 1万+
1、wallhaven 域名：https://wallhaven.cc 介绍：一个强大的壁纸网站，包含人物、动漫、风景，同时有一些老司机内容，需要选择NSFW，但需要登录才能观看，隐藏功能。但是海外网站，国内网站较慢，有时候打不开。 总结： 语言：英文★★★★★ 美观程度：较好★★★★☆ 资源丰富度：丰富★★★★☆ 站点区域：海外★★☆☆☆ 访问速度：较慢★★☆☆☆ 2、西田壁纸 域名：https://wallpaper.sitapix.com 介绍：一个中文壁纸网站，站点在国
分享个网站，用Python批量采集4K壁纸【Python采集壁纸系列一】
Dangerous_li的博客
10-27 439
我就不信这么多壁纸，还不够你用
wallhaven.cc网站图片超清壁纸爬虫
FLYINGong
02-16 9894
wallhaven.cc超清壁纸爬虫1.参考博客2.python代码 1.参考博客 From（侵删）： https://blog.csdn.net/qq_41849471/article/details/89607706 2.python代码 图片保存路径： save_dir = ‘C:/Users/Administrator/Pictures/wallpaper/’ 其他参数可参考上述博客。 import requests from lxml import etree import re import o
Node.js爬虫入门指南:解析HTML方式爬取Wallhaven图片(二)
最新发布
weixin_53510183的博客
04-11 691
本篇文章介绍爬虫的思路以及使用NodeJS爬取的具体代码
Python《wallhaven壁纸爬取》
qq_29367075的博客
12-30 7116
今天不小心又发现了壁纸网站，感觉壁纸很多啊，多？我就忍不住了。爬一下咯。 我们今天爬取 网站是https://wallhaven.cc/。 先来分析分析： 进入首页：我们先去找标签，果然有个大标签地址链接。 点进去后发现： 一共有三层标签分类，第三层的标签就直接对应了很多的图片。 假如我们随便点击一个“anime girls”，我们发现他的标签号是5。 第一页呢只是几张图，但是有个按钮能看到更多，我们点进去。 发现url很有特点啊。q=tagId。我猜测这个q是query的意思。 后来经过测试，我们
壁纸网站：Wallpaper Search: - wallhaven.cc
亖嘁
06-06 7880
Wallpaper Search: - wallhaven.cc
Python第一次爬虫三部曲 wallhaven壁纸网站（requests库,re正则库）一看就会
weixin_43664907的博客
07-14 5229
工具   工具 pycharm，python版本3.7.0，网站：wallhaven壁纸，这个网站是国外的，可能打开会慢一点。 爬取首页壁纸   先把源代码爬下来分析，需导入requests第三方库。用pip下载或者pycharm帮助下载，先保证pycharm用的python和cmd下python是同一个 import requests import re url='https://wallhaven.cc/' respone=requests.get(url) print(respone.text)
10个值得珍藏的4K高清壁纸网站推荐
热门推荐
weixin_64948861的博客
10-17 1万+
作为打开电脑 or 手机第一眼就看到的桌面，给它设置一个赏心悦目的桌面壁纸还是必不可少的。下面分享了 10 个值得珍藏的高清桌面壁纸网站，支持各种图片比例和分辨率，从 720P 到 4K、8K 应有尽有，电脑和手机都可以使用。高清桌面壁纸网站。
python爬虫，wallhaven热门壁纸多线程采集下载源码
二爷记
02-26 3319
新年新气象，祝大家牛转乾坤，牛气冲天！过年期间收到了很多朋友的新年祝福，没有一一回应，见谅！很久没写爬虫了，手生了，在吾爱找了一个练手网站，国外的壁纸网站，wallhaven，这里采集下载...
python爬虫-python多线程爬虫爬取电影天堂资源.zip
02-25
本教程将详细讲解如何利用Python实现多线程爬虫来爬取电影天堂资源。 首先，我们需要了解Python爬虫的基础知识。Python作为一门非常适合进行网络爬虫开发的语言，拥有丰富的库支持，如requests用于发送HTTP请求，...
python爬虫之多线程、多进程爬虫
02-24
多线程对爬虫的效率提高是非凡的，当我们使用python的多线程有几点是需要我们知道的：1.Python的多线程并不如java的多线程，其差异在于当python解释器开始执行任务时，受制于GIL(全局解释所)，Python的线程被限制到...
爬虫-使用python开发的多线程爬虫工具
01-17
本篇文章将详细讲解如何利用Python进行多线程爬虫工具的开发。 首先，我们需要理解爬虫的基本原理。爬虫是一个自动抓取网页信息的程序，它通过模拟浏览器发送HTTP请求到服务器，然后接收服务器返回的HTML或其他格式...
python多线程爬虫
12-22
#多线程爬虫一般思维就是，开启两个线程，一个爬，一个取。 #实现步骤 #1，把自己思路的裤架给配置出来，两个线类，一个主方法。 #思考，改把数据存到什么结构里。。。。。队列。 import re import threading import...
分享几个免费壁纸网址
兮动人
02-26 1289
静态壁纸的好处是不消耗内存。下面就推荐几个比较实用的 wallhaven，支持分类、排行榜搜索，也可以选择下载不同分辨率的壁纸 https://wallhaven.cc/ 极简壁纸 https://bz.zzzmh.cn
Python爬虫 - wallhaven任意页面下的壁纸批量下载
weixin_44210565的博客
08-05 1397
基于Python 任意页面下的壁纸批量下载 github Maxpagenum 爬取页数 fpath 保存路径 url 基础地址 import requests import re import time import os #爬取页数 Maxpagenum = 10 Sleeptime =0.1 def creatPath(path): if not os.path.exists(path): print("Creat path") os.makedirs(pa.
Python爬虫入门：如何设置代理IP进行网络爬取
wq10_12的博客
11-28 1590
在进行网络爬取时，经常会遇到一些反爬虫的措施，比如IP封锁、限制访问频率等。为了解决这些问题，我们可以使用代理IP来进行网络爬取。本文将介绍Python如何设置代理IP进行网络爬取，包括如何获取代理IP、如何设置代理IP、如何验证代理IP、如何使用代理IP进行网络爬取等。本文介绍了Python如何设置代理IP进行网络爬取，包括如何获取代理IP、如何设置代理IP、如何验证代理IP、如何使用代理IP进行网络爬取等。
python爬取4K壁纸
pitaya_huatu的博客
10-27 1443
python 爬取 4k壁纸网址： https://wallhaven.cc/search?q=id%3A65348&sorting=random&ref=fp&seed=oUFMX0&page=1 网址随后面的数字而变化 代码如下： # # @time :2021/02/30 0:00 # @author : moshengren # 热爱 # 我既做不了神灵，那就做个野兽吧 # 爬取4k壁纸 #原网址 https://wallhaven.
用多线程实现高效爬取
y321658766的博客
02-21 548
使用多线程高效爬取北京新发地蔬菜价格 示例网址：每日价格行情 - 北京新发地市场 爬取步骤：1、进入网站右键查看网站源代码，查看是服务器渲染还是客户端渲染，这里通过查看后发现了相应文字。 知道是服务器渲染后，直接F12框选下图，找到价格表的html代码部分。 2、找到价格表的html代码块后查看到，第一个tr是写着表头信息等，所以我们这段信息可以是不要的；随后查看后面的代码块后发现是描述表格内蔬菜价格日期的数据，然后就可以确定除了第一个html代码块不是此次爬取需要的（这里需要的也可以加上）
python多线程爬虫大作业-Python多线程爬虫简单示例
05-16
好的，下面是一个简单的Python多线程爬虫示例： ```python import requests import threading from queue import Queue # 定义一个全局变量用来存储爬取到的数据 data = [] # 定义一个线程锁，防止多个线程同时写入数据导致数据错乱 lock = threading.Lock() # 定义一个队列，用来存储待爬取的URL url_queue = Queue() # 定义一个爬取线程类 class CrawlerThread(threading.Thread): def __init__(self, url_queue): super().__init__() self.url_queue = url_queue def run(self): while True: # 从队列中获取一个URL url = self.url_queue.get() try: # 发送请求并解析响应数据 response = requests.get(url) content = response.text # 对响应数据进行处理（此处省略） # ... # 将处理后的数据存入全局变量 with lock: data.append(processed_data) # 标记该URL已被处理 self.url_queue.task_done() except Exception as e: print(f"Error occurred while crawling {url}: {e}") # 如果发生错误，将该URL重新放回队列 self.url_queue.put(url) self.url_queue.task_done() # 定义一个入口函数 def main(): # 初始化待爬取的URL列表 urls = ["http://www.example.com/page{}".format(i) for i in range(1, 11)] # 将URL列表添加到队列中 for url in urls: url_queue.put(url) # 创建多个爬取线程并启动 for i in range(5): t = CrawlerThread(url_queue) t.start() # 阻塞主线程，直到所有URL都被处理完毕 url_queue.join() # 输出爬取结果 print(data) if __name__ == '__main__': main() ``` 以上示例中，我们定义了一个`CrawlerThread`类来表示爬取线程，定义了一个`url_queue`队列来存储待爬取的URL，定义了一个`data`列表来存储爬取到的数据，以及定义了一个`lock`线程锁来保证多个线程访问`data`时不会出现数据错乱的情况。 在`main`函数中，我们首先将待爬取的URL列表添加到`url_queue`队列中，然后创建多个`CrawlerThread`实例并启动它们。最后，我们使用`url_queue.join()`方法来阻塞主线程，直到所有的URL都被处理完毕。 在`CrawlerThread`类的`run`方法中，我们使用`self.url_queue.get()`方法从`url_queue`队列中获取一个URL，然后发送请求并解析响应数据。如果处理过程中出现错误，我们将该URL重新放回队列中，以便后续线程重新处理。如果处理成功，我们将处理后的数据存入`data`列表中，并使用`self.url_queue.task_done()`方法标记该URL已被处理完毕。 需要注意的是，在多线程爬虫中，如果爬取的网站对IP访问频率有限制，可能会导致IP被封禁的情况。因此，在实际应用中，我们需要合理设置线程数量和请求频率，以避免被封禁的情况发生。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值