Python 网络爬虫：爬取4K高清美图

最新推荐文章于 2023-12-07 04:54:05 发布
最新推荐文章于 2023-12-07 04:54:05 发布
阅读量2.7k 收藏 33
点赞数 5
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44072750/article/details/112945790
版权

爬取4K高清美图

这篇爬虫主要是用来爬取网站高清4K图片，这也是笔者学初学爬虫的时候最先写一个的爬虫脚本，现在回过头来重新梳理一下，也算是对从前知识的一个总结，希望对大家有所帮助！

文章目录

爬取任意网站的的首要都是分析目标网站，我们需要做的主要流程如下：

1. 访问目标网站，找到你需要的资源具体在某个页面，如何进入该页面，资源在具体的什么位置。

2. 通过 F12 开发者工具，找到数据的获取接口，数据是在静态页面直接获取，还是异步加载存放为json等等

3. 编写简单的代码，查看是否能直接访问，试探其访问机制及其反爬措施

4. 完善代码，逐步请求到你需要的数据。

1、分析url以及页面结构

通过F12调试工具的简单调试，我们发现，它网页url的参数变化规律显而易见。

首页：http://pic.netbian.com/

次级风景目录：http://pic.netbian.com/4kfengjing/
(http://pic.netbian.com/4kmeinv/index.html)

次级风景目录的第二页：http://pic.netbian.com/4kmeinv/index_2.html

风景目录下某个图片：http://pic.netbian.com/tupian/12356.html

图片资源：http://pic.netbian.com/uploads/allimg/170725/103840-150095032034c0.jpg

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

我们不难发现，

/4kfengjing/ 代表的就是首页下不同模块的标识名称

index_2 代表的就是次级模块目录下翻页的标识

12356 代表的是次级风景目录下某个图片的标识名称

/uploads/allimg/170725/103840-150095032034c0.jpg 代表的是我们所需要请求图片的部分url

值得注意的是 http://pic.netbian.com/4kfengjing/ 和http://pic.netbian.com/4kmeinv/index.html同样都访问的第一页的内容，而从第二页起，这个参数的变化规律便是数字随着翻页加1。而12356 以及/uploads/allimg/170725/103840-150095032034c0.jpg参数都在相应的上一级页面中可以直接拿到。
( 其实在风景目录页面里，获取下一级图片页面的同时，也可以直接拿到图片资源的地址，不过笔者这里选择进入图片页面后再拿图片资源的地址，虽然这样会多请求一次，但是当时笔者为了获取图片名称同时给图片命名的代码简单些，选择了多请求一次的方式。)

了解到这些以后我们便可以开始按照规则制造url，编写爬虫访问我们所需要的资源。

2、开始编码

首先导入本项目用到的库：

from lxml.html import etree
import requests
from PIL import Image
import os
import sys

其中，requests 库主要用来发起网络请求，并接收服务器返回的数据；lxml库主要用来解析 html 内容；os 库主要用于将数据输出存储到本地文件中，PIL库是用来处理图片；sys库主要用于解释器相关的操作。

		headers = {
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
		}
		url_list = []
        url = 'http://pic.netbian.com/4kmeinv/index_.html'
        res = requests.get(url=url,headers=headers)
        res.encoding = res.apparent_encoding  # 修改编码
        response = etree.HTML(res.text)
        response = etree.tostring(response)
        response = etree.fromstring(response)  # 以上搭建xpath对象
        content = response.xpath('//ul[@class="clearfix"]/li')
        for i in content:
            tu_url = i.xpath('./a/@href')
            tupian_url = 'http://pic.netbian.com'+ ''.join(tu_url)
            url_list.append(tupian_url)

首先是进入模块页面，利用xpath规则拿到图片页面的url，并放入url_list这个列表中，方便后续使用。

	for i in url_list:
	    r = requests.get(url=i, headers=headers)
	    r.encoding = r.apparent_encoding  # 修改编码
	    html = etree.HTML(r.text)
	    html = etree.tostring(html)
	    html = etree.fromstring(html)  # 以上搭建xpath对象
	    url = html.xpath(r'//a[@id="img"]/img/@src')
	    print(url)
	    rr = requests.get('http://pic.netbian.com' + ''.join(url), headers=headers)
	    name = html.xpath(r'//a[@id="img"]/img/@title')
	    rr.encoding = rr.apparent_encoding  # 修改编码

这里是图片页面，从模块页面拿到的url_list列表中不断地拿出图片地址，进行访问，并拿到对应的图片资源地址。

```c
    with open(f"./tutu/{''.join(name)}" + '.png', 'wb') as fw:
        fw.write(rr.content)
    img = Image.open(f"./tutu/{''.join(name)}" + '.png')
    img = img.resize((4000, 2000), Image.ANTIALIAS)  # 改变大小 抗锯齿
    # print(img.size)
    img.save(f"./tutu/{''.join(name)}" + '.png', quality=95)
    print(str(name) + " 保存完成！")

对拿到的图片资源进行保存以及利用PIL库将图片的清晰度变成高清4k。

2、优化程序

我们通过这个流程可以拿到指定模块下高清图片，但是存在两个问题，第一就是我们没有加入翻页，只能获取到第一页的内容；其次模块的url是写死的，我们无法动态的选择下载摸个模块的高清图片。

于是我们对其进行如下的改进：

		area = input('请输入类别：')
		if area.find('美女')>=0:
		    area = '4kmeinv'
		elif area.find('风景')>=0:
		    area = '4kfengjing'
		elif area.find('游戏')>=0:
		    area = '4kyouxi'
		elif area.find('动漫')>=0:
		    area = '4kdongman'
		elif area.find('影视')>=0:
		    area = '4kyingshi'
		elif area.find('明星')>=0:
		    area = '4kmingxing'
		elif area.find('汽车')>=0:
		    area = '4kqiche'
		elif area.find('动物')>=0:
		    area = '4kdongwu'
		elif area.find('人物')>=0:
		    area = '4krenwu'
		elif area.find('美食')>=0:
		    area = '4kmeishi'
		elif area.find('宗教')>=0:
		    area = '4kzongjiao'
		elif area.find('背景')>=0:
		    area = '4kbeijing'
		else:
		    print('输入关键词格式不正确')
		    sys.exit(0)
		    
		page = int(input('请输入页数：'))
		for i in range(0,page+1):
    		i = int(i)
    		if i==1:
	        url = 'http://pic.netbian.com/'+ area +'/index.html'
	        res = requests.get(url=url,headers=headers)
	        res.encoding = res.apparent_encoding  # 修改编码
	        response = etree.HTML(res.text)
	        # print(type(response))
	        response = etree.tostring(response)
	        # print(type(response))
	        response = etree.fromstring(response)  # 以上搭建xpath对象
	        # print(type(response))
	        content = response.xpath('//ul[@class="clearfix"]/li')
	        for i in content:
	            tu_url = i.xpath('./a/@href')
	            tupian_url = 'http://pic.netbian.com'+ ''.join(tu_url)
	            url_list.append(tupian_url)
	            
		    elif i>=1:
		        i = str(i)
		        # url = 'http://pic.netbian.com/4kmeinv/index_.html'
		        url = 'http://pic.netbian.com/' + area + '/index_' + i + '.html'
		        res = requests.get(url=url,headers=headers)
		        res.encoding = res.apparent_encoding  # 修改编码
		        response = etree.HTML(res.text)
		        response = etree.tostring(response)
		        # print(type(response))
		        response = etree.fromstring(response)  # 以上搭建xpath对象
		        # print(type(response))
		        content = response.xpath('//ul[@class="clearfix"]/li')
		        for i in content:
		            tu_url = i.xpath('./a/@href')
		            tupian_url = 'http://pic.netbian.com'+ ''.join(tu_url)
		            url_list.append(tupian_url)

我们将模块的选择以及页数，都定义为一个可以手动输入的参数，而这个参数利用find方法的特性支持关键词搜索，这样我们便可以下载你想要模块的高清图片了！

实际运行测试一下，假设我们要爬取美女图片模块下前2页的图片，那我们在开始日期中输入美女呀，在页数中输入 2，运行。
在这里插入图片描述
在这里插入图片描述
这样我们就可以顺利的获取到我们想要的高清4k图片啦。

以下是完整代码：

from lxml.html import etree
import requests
from PIL import Image
import os
import sys

path = './tutu'

if not os.path.exists(path):
    os.makedirs(path)

headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
}
url_list = []
area = input('请输入类别：')
if area.find('美女')>=0:
    area = '4kmeinv'
elif area.find('风景')>=0:
    area = '4kfengjing'
elif area.find('游戏')>=0:
    area = '4kyouxi'
elif area.find('动漫')>=0:
    area = '4kdongman'
elif area.find('影视')>=0:
    area = '4kyingshi'
elif area.find('明星')>=0:
    area = '4kmingxing'
elif area.find('汽车')>=0:
    area = '4kqiche'
elif area.find('动物')>=0:
    area = '4kdongwu'
elif area.find('人物')>=0:
    area = '4krenwu'
elif area.find('美食')>=0:
    area = '4kmeishi'
elif area.find('宗教')>=0:
    area = '4kzongjiao'
elif area.find('背景')>=0:
    area = '4kbeijing'
else:
    print('输入关键词格式不正确')
    sys.exit(0)

page = int(input('请输入页数：'))

for i in range(0,page+1):
    i = int(i)
    if i==1:
        url = 'http://pic.netbian.com/'+ area +'/index.html'
        res = requests.get(url=url,headers=headers)
        res.encoding = res.apparent_encoding  # 修改编码
        response = etree.HTML(res.text)

        response = etree.tostring(response)
        response = etree.fromstring(response)  # 以上搭建xpath对象
        content = response.xpath('//ul[@class="clearfix"]/li')
        for i in content:
            tu_url = i.xpath('./a/@href')
            tupian_url = 'http://pic.netbian.com'+ ''.join(tu_url)
            url_list.append(tupian_url)
            
    elif i>=1:
        i = str(i)
        url = 'http://pic.netbian.com/' + area + '/index_' + i + '.html'
        res = requests.get(url=url,headers=headers)
        res.encoding = res.apparent_encoding  # 修改编码
        response = etree.HTML(res.text)
        response = etree.tostring(response)
        response = etree.fromstring(response)  # 以上搭建xpath对象
        content = response.xpath('//ul[@class="clearfix"]/li')
        for i in content:
            tu_url = i.xpath('./a/@href')
            tupian_url = 'http://pic.netbian.com'+ ''.join(tu_url)
            url_list.append(tupian_url)

for i in url_list:
    r = requests.get(url=i, headers=headers)
    r.encoding = r.apparent_encoding  # 修改编码
    html = etree.HTML(r.text)
    html = etree.tostring(html)
    html = etree.fromstring(html)  # 以上搭建xpath对象
    url = html.xpath(r'//a[@id="img"]/img/@src')
    rr = requests.get('http://pic.netbian.com' + ''.join(url), headers=headers)
    name = html.xpath(r'//a[@id="img"]/img/@title')
    rr.encoding = rr.apparent_encoding  # 修改编码

    with open(f"./tutu/{''.join(name)}" + '.png', 'wb') as fw:
        fw.write(rr.content)
    img = Image.open(f"./tutu/{''.join(name)}" + '.png')
    img = img.resize((4000, 2000), Image.ANTIALIAS)  # 改变大小 抗锯齿
    # print(img.size)
    img.save(f"./tutu/{''.join(name)}" + '.png', quality=95)
    print(str(name) + " 保存完成！")

print("保存完成！")

总结

这是笔者初学爬虫时写的一个爬虫练习脚本，也没有对其进行函数封装，发出来仅供大家娱乐使用，如果哪里有写误或没写清楚的地方，欢迎大家指正，相互学习，天天进步！
一壶清玖
关注
python多线程爬取4k高清美女图片
m0_49022699的博客
07-08 440
概述 我是正经人，为了爬取不那么枯燥迫不得已爬取写真哈哈哈，不啰嗦直接上代码，再解释 代码 1.准备工作 1.1导入lxml模块解析url 1.2导入OS模块创建一个文件存储下载的图片 import requests from lxml import etree import os from concurrent.futures import ThreadPoolExecutor #创建一个文件夹存储图片 if not os.path.exists('./plmm'): ...
python网络爬虫--项目实战（1）--500px图片爬取
u010671028的博客
10-17 535
一、目标 爬取500px图片并保存 目标网址：https://500px.com.cn/community/discover 二、分析 2.1 网站分析： 经过研究发现该网站没有点击下一页的按钮，然后往下拖动下拉条直到最后，会自动刷新出新的内容，基本可以得出该网页是动态刷新的。 或者ctrl+U 打开页面源码，复制粘贴一张图片的地址，在源码中找不到对应的地址，也可以判断该页面为动态加载的。 2.2 反爬分析： 相同的IP爬取大量的图片可能会被反爬（频率反爬），故需要采用UA池 三、注意点： 1.一定要选取
python爬虫----图片爬取之高清原图
热门推荐
老问题的博客
07-25 4万+
这次又来爬取图片啦，不过这次爬的是原图 大概的思路和上一篇差不多，不同的是不同的网站有不同的反爬策略 爬取的网站是：https://www.pexels.com/ 1、源码分析 进入网站后会出现一个图片搜索关键词的界面，输入关键词后进入的网址是：https://www.pexels.com/search/你输入的关键词/ 通过观察源码发现这些链接就是图片 因为我
python爬虫爬取4K图片实例
热爱滑板的代码男
07-19 1038
爬取目标网站https://pic.netbian.com/4kfengjing/index.html 之前写的时候发现爬取的图片都是缩略图，不是原图4k的，经过改良得以实现 思路： 话不多说，详细思路，直接上代码 # -*- codeing = utf-8 -*- # @Time : 2021/7/19 15:32 # @Author : ArthurHuang # @File : 8_4k图片解析爬取(优化).py # @Software : PyCharm import reque.
The fourth day(下): Xpath解析+练习爬取4K美女图片
Pangpangbupang.
11-01 464
目录 一、Xpath使用 二、爬取4K美女图片 使用xpath爬取图片名称和图片数据 1.源码第一版（爬取单页图片） 运行结果: 2.源码第二版（爬取多页） 运行结果: 一、Xpath使用 环境安装： pip install lxml 解析原理：html标签是以树状的形式进行展示 1.实例化一个etree的对象，且将待解析的页面源码数据加载到该对象中 2.调用etree对象的xpath方法结合着不同的xpath表达式实现标签的定位和数据的提取 实例化etree...
Python爬虫教你获取4K超清壁纸图片，手把手教你跟我一起爬！
weixin_49345590的博客
12-14 1979
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于腾讯云 作者：Python进阶者 ( 想要学习Python？Python学习交流群：1039649593，满足你的需求，资料都已经上传群文件流，可以自行下载！还有海量最新2020python学习资料。 ) /1 前言/ 想要电脑换个壁纸时都特别苦恼，因为百度搜到那些壁纸也就是分辨率达到了壁纸的水准。可是里面图片的质量嘛，实在是不忍直视…。而有些4K高清的壁纸大多是有版权的 ,
Python爬虫骚操作：1. 爬取彼岸高清壁纸，并下载到本地
欢迎来访~
12-07 1792
python爬取彼岸壁纸，并下载到本地
python网络爬虫快速下载4K高清壁纸
qq_42372829的博客
08-01 1163
python网络爬虫快速下载4K高清壁纸 此处给出下载壁纸的链接地址彼岸图网，进入网站之后，我们看到可以下载风景，游戏，动漫，美女等类型的4K图片，装逼一下，re库有贪婪匹配，那我们就写一个通用代码来下载网站全部的图片。 1. 观察页面布局，获取页面源代码 打开彼岸图网的链接之后，进入开发者模式，快捷键为（Fn + F12），观察网页源代码发现，我们所要解析的图片都存放在了body标签下面的<div,class = “wrap clearfix”>中的<div , class = “
Python爬取4K壁纸 课程设计
最新发布
01-06
这段Python代码实现了一个简单的网络爬虫，主要用于从指定网站 http://www.netbian.com 上抓取图片并将其保存到本地。它首先通过HTTP请求获取网站的HTML源代码，然后使用PyQuery库来解析页面，锁定并提取页面中的...
python爬取4K超清画质手机壁纸，壁纸这东西当然是越多越好啦~
python56123的博客
01-10 1521
前言 手机壁纸这东西大家都很熟悉吧,相信不论谁打开手机都希望自己的壁纸是自己喜欢的图片, 但是一张壁纸用久了就会想换一张新鲜感满满的图(当然排除情有独钟的), 但挑选图片的时间总是恒久的，有时长时间的挑选都不一定能选出自己心仪的那一张，还手累 那么咋直接来写个代码，自动下载自己感兴趣类型的手机壁纸 本次内容: python爬取4K超清画质手机壁纸 开发环境 敲代码你们不能连敲代码的地方都没有叭???? Python 3.8 Pycharm 如何配置pycharm里面的python解释器? 选择fil
利用Python一键爬取一加云服务的所有照片（原图）
03-17
一键爬取账户下所有的的照片原图。 期初我也是想从网上找个工具直接给下载出来用的，但是我发现下载的不能用了，可能是一加云服务系统又做变化吧，也可能是那个作者没有仔细判断下载的是不是原图吧，于是乎我就上手抓包分析并修改了他的源码。 本源码只用到Python的json和requests两个模块，需要手动提取cookies和header（详情请见对应教程：https://blog.csdn.net/JOJO_jiongjiong/article/details/104926360）
[python 爬虫]用selenium抓取500px上的图片
sinat_33487968的博客
03-26 1193
本来打算写一个可以查找任何关键字的图片抓取，但是我发现有一些问题，可能是我网速问题，也可能是代码的问题，代码如下 from selenium import webdriver from selenium.webdriver.common.keys import Keys import time import urllib.request print("请输入你的500px账号") usern...
Python爬取4K图片
fallenjency的博客
09-06 1524
今天，我们用Python来爬取4K图片的数据，并保存图片。 首先打开网址：http://pic.netbian.com/4kfengjing/ 打开F12开发者工具，elements栏中定位到图片信息。其中我们可以看出，所有的图片信息都是在一个< div>标签中，并且该div拥有属性class=“slist”，每一个< li >标签内容对应一张图片信息，只要从< li >标签信息中获取到src属性值、alt属性值即可当做图片的名称和访问地址： src="/uploads/
python爬虫爬取高清图片——爬虫入门
weixin_40027143的博客
11-07 1090
使用requests请求网页，bs4解析数据，自动抓取高清图片并下载保存
Python爬虫，高清美图我全都要！爬取你想要的，嘿嘿嘿
BCXQ2020的博客
05-24 2044
想必大家都是比较喜欢美女图片吧！没事不要隐瞒了，爱美之心人人皆知。小编也是最近也是比较无聊就爬取了一下了壁纸、图片啥的。于是加上了一些代码，把整个网页的壁纸全部都爬取下来了。 目录一：概览 在电脑上，创建一个文件夹用来存放爬取彼岸桌面的图片 此文件夹下有25个文件夹，对应分类 每个分类文件夹下有若干个文件夹，对应页码 页码文件夹下，存放图片文件 目录二：环境准备 环境准备：怎么使用VSCode编写Python代码？ requests：通过http请求获取页面，官方文档 lxml：是pyth
Python批量获取4K图片
Uncle_wangcode的博客
10-14 1339
正则、Bs4、Pyquery数据处理，批量获取4k图片
python4k高清图片_第一次接触，尝试用python抓取国外4k高清图像数据，真方便
weixin_39525243的博客
01-29 315
计划了很久，终于还是利用在家的几个月时间，开始学习python编程。作为一个学霸，我更愿意在实践中学习，实践出来的效果给我更多的信心和乐趣，于是，我花了大约一个月的时间，看了一本Python入门的相关教程，可能还是有点枯燥，所以我借鉴我老哥之前写的用python爬取国外4K高清图像数据的教程，重新实践了一边。下面是我自己写的一些代码和大致的步骤，有点难度，如果不是按着教程一步一步去做，我都很难抓取...
Python从网上抓取图片到本地，但是图片是模糊的
gurenyuan123的博客
02-05 3451
今天，从慕课网学习，网上抓取图片，代码如下：    import urllib2 import re req = urllib2.urlopen( "http://www.imooc.com/course/list?page=1") buff = req.read() print buff list = re.findall(r'http:.*\.jpg', buff) prin
Python爬取高清桌面壁纸（附源码），直接运行即可
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
09-26 690
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 以下文章来源于云+社区，作者 深雾 转载地址 https://blog.csdn.net/fei347795790?t=1 直接运行即可，效果图： 代码如下 导入工具 import requests,os from pyquery import PyQuery as pq import time 请求、解析网页数据，保存数据 hea..
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值