总说手机没有“好壁纸”，Python一次性抓取500张“美女”图片，够不够用！

最新推荐文章于 2024-09-17 23:15:58 发布
最新推荐文章于 2024-09-17 23:15:58 发布
阅读量264 收藏
点赞数
文章标签： python 大数据 xpath ajax 爬虫
原文链接：https://juejin.cn/post/6961653636371841032
版权
本文介绍了使用Python进行网页图片的爬取，包括正则表达式和XPath两种方式提取图片链接与名称，以及如何解决乱码问题。接着展示了如何通过单线程和多线程实现翻页爬取批量下载图片，提高爬取效率。最后，给出了实际运行效果及所用时间。
摘要由CSDN通过智能技术生成

 

图片

1.爬取一页的图片

正则匹配提取图片数据

网页源代码部分截图如下：

图片

图片

重新设置 GBK 编码解决了乱码问题

图片

你正在学习Python爬虫吗？我这里有一整套资料等你来学习，需要的话点击这段话，关注我的学习群，就可以免费领取啦

代码实现：

import requests
import re

# 设置保存路径
path = r'D:\test\picture_1\ '
# 目标url
url = "http://pic.netbian.com/4kmeinv/index.html"
# 伪装请求头  防止被反爬
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Referer": "http://pic.netbian.com/4kmeinv/index.html"
}

# 发送请求  获取响应
response = requests.get(url, headers=headers)
# 打印网页源代码来看  乱码   重新设置编码解决编码问题
# 内容正常显示  便于之后提取数据
response.encoding = 'GBK'

# 正则匹配提取想要的数据  得到图片链接和名称
img_info = re.findall('img src="(.*?)" alt="(.*?)" /', response.text)

for src, name in img_info:
    img_url = 'http://pic.netbian.com' + src   # 加上 'http://pic.netbian.com'才是真正的图片url
    img_content = requests.get(img_url, headers=headers).content
    img_name = name + '.jpg'
    with open(path + img_name, 'wb') as f:     # 图片保存到本地
        print(f"正在为您下载图片：{img_name}")
        f.write(img_content)
复制代码

Xpath定位提取图片数据

图片

图片

代码实现：

import requests
from lxml import etree

# 设置保存路径
path = r'D:\test\picture_1\ '
# 目标url
url = "http://pic.netbian.com/4kmeinv/index.html"
# 伪装请求头  防止被反爬
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Referer": "http://pic.netbian.com/4kmeinv/index.html"
}

# 发送请求  获取响应
response = requests.get(url, headers=headers)
# 打印网页源代码来看  乱码   重新设置编码解决编码问题
# 内容正常显示  便于之后提取数据
response.encoding = 'GBK'
html = etree.HTML(response.text)
# xpath定位提取想要的数据  得到图片链接和名称
img_src = html.xpath('//ul[@class="clearfix"]/li/a/img/@src')
# 列表推导式   得到真正的图片url
img_src = ['http://pic.netbian.com' + x for x in img_src]
img_alt = html.xpath('//ul[@class="clearfix"]/li/a/img/@alt')

for src, name in zip(img_src, img_alt):
    img_content = requests.get(src, headers=headers).content
    img_name = name + '.jpg'
    with open(path + img_name, 'wb') as f:   # 图片保存到本地
        print(f"正在为您下载图片：{img_name}")
        f.write(img_content)
复制代码

 

2.翻页爬取，实现批量下载

图片

单线程版

import requests
from lxml import etree
import datetime
import time

# 设置保存路径
path = r'D:\test\picture_1\ '
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Referer": "http://pic.netbian.com/4kmeinv/index.html"
}
start = datetime.datetime.now()

def get_img(urls):
    for url in urls:
        # 发送请求  获取响应
        response = requests.get(url, headers=headers)
        # 打印网页源代码来看  乱码   重新设置编码解决编码问题
        # 内容正常显示  便于之后提取数据
        response.encoding = 'GBK'
        html = etree.HTML(response.text)
        # xpath定位提取想要的数据  得到图片链接和名称
        img_src = html.xpath('//ul[@class="clearfix"]/li/a/img/@src')
        # 列表推导式   得到真正的图片url
        img_src = ['http://pic.netbian.com' + x for x in img_src]
        img_alt = html.xpath('//ul[@class="clearfix"]/li/a/img/@alt')
        for src, name in zip(img_src, img_alt):
            img_content = requests.get(src, headers=headers).content
            img_name = name + '.jpg'
            with open(path + img_name, 'wb') as f:  # 图片保存到本地
                # print(f"正在为您下载图片：{img_name}")
                f.write(img_content)
        time.sleep(1)

def main():
    # 要请求的url列表
    url_list = ['http://pic.netbian.com/4kmeinv/index.html'] + [f'http://pic.netbian.com/4kmeinv/index_{i}.html' for i in range(2, 11)]
    get_img(url_list)
    delta = (datetime.datetime.now() - start).total_seconds()
    print(f"抓取10页图片用时：{delta}s")

if __name__ == '__main__':
    main()
复制代码

程序运行成功，抓取了10页的图片，共210张，用时63.682837s。

图片

多线程版

import requests
from lxml import etree
import datetime
import time
import random
from concurrent.futures import ThreadPoolExecutor

# 设置保存路径
path = r'D:\test\picture_1\ '
user_agent = [
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
    "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
    ]
start = datetime.datetime.now()

def get_img(url):
    headers = {
        "User-Agent": random.choice(user_agent),
        "Referer": "http://pic.netbian.com/4kmeinv/index.html"
    }
    # 发送请求  获取响应
    response = requests.get(url, headers=headers)
    # 打印网页源代码来看  乱码   重新设置编码解决编码问题
    # 内容正常显示  便于之后提取数据
    response.encoding = 'GBK'
    html = etree.HTML(response.text)
    # xpath定位提取想要的数据  得到图片链接和名称
    img_src = html.xpath('//ul[@class="clearfix"]/li/a/img/@src')
    # 列表推导式   得到真正的图片url
    img_src = ['http://pic.netbian.com' + x for x in img_src]
    img_alt = html.xpath('//ul[@class="clearfix"]/li/a/img/@alt')
    for src, name in zip(img_src, img_alt):
        img_content = requests.get(src, headers=headers).content
        img_name = name + '.jpg'
        with open(path + img_name, 'wb') as f:  # 图片保存到本地
            # print(f"正在为您下载图片：{img_name}")
            f.write(img_content)
    time.sleep(random.randint(1, 2))

def main():
    # 要请求的url列表
    url_list = ['http://pic.netbian.com/4kmeinv/index.html'] + [f'http://pic.netbian.com/4kmeinv/index_{i}.html' for i in range(2, 51)]
    with ThreadPoolExecutor(max_workers=6) as executor:
        executor.map(get_img, url_list)
    delta = (datetime.datetime.now() - start).total_seconds()
    print(f"爬取50页图片用时：{delta}s")

if __name__ == '__main__':
    main()
复制代码

程序运行成功，抓取了50页图片，共1047张，用时56.71979s。开多线程大大提高的爬取数据的效率。

图片

最终成果如下：

图片

如果你觉得这篇文章对你有点用的话，欢迎点赞、留言、转发分享让更多的掘友看到，因为这将是我持续输出更多优质文章的最强动力，谢谢大家！


作者：杰哥的IT之旅
链接：https://juejin.cn/post/6961653636371841032
来源：掘金
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

前端仙人
关注
python随机选择图片_Python随机选择文件夹中的图片并将其放置在另一个文件夹中,python,对,进行,抽取,放在,下...
weixin_30058099的博客
01-30 1399
环境：win10 pycharmimport osimport randomimport shutil# source_file:源路径, target_ir:目标路径def cover_files(source_dir, target_ir):for file in os.listdir(source_dir):source_file = os.path.join(source_dir, f...
还没有看饱网络美女，轻松教你使用python爬虫爬取网络美女图片，让你一次看过瘾
weixin_45342712的博客
08-22 2379
前言 还在去网站上找网络美女看嘛，却发现网站上找到的并不是特别好看，而且比较模糊，下面教你们如何用爬虫去爬取网络美女图片。 一、准备工作 安装requests库(用于请求静态页面) pip install requests -i https://mirrors.ustc.edu.cn/pypi/web/simple 安装lxml库(用于解析html文件) pip install lxml -i ...
一、python小项目（指定抽取形式从一堆图像中抽取指定数量的图像）
qq_15060477的博客
01-02 312
#coding=utf-8 ''' 时间：2020.8.2 20:35:56 作者: 小宇 功能：从海量文件里面抽取自己一定数量的文件用于统计,使用过程中会产生界面 使用函数库：tkinter、os、Image、time、random 声明：本源码仅限于交流学习，禁止任何人拿此源码用于商业用途 ''' import os import tkinter as tk from tkinter import * from tkinter.filedialog import askdirectory import
Python--3类图像每个类别中随机挑选n张图片（小白程序）
Crazy-Monica的博客
06-26 2552
深度学习中经常会遇到要从好几类图片中随机挑选部分数据训练或者测试的问题： 举个栗子：现有训练的标签文件train.txt，里面包含3类图片，现在要在这3类中每个类别随机选取10张 train.txt的内容比如： … /media/data/train/1.jpg 1 /media/data/train/88.jpg 2 /media/data/train/677.png 0 … code： ...
python实现从一个文件夹下随机抽取一定数量的图片并移动到另一个文件夹
热门推荐
米兰小子SHC
09-27 3万+
由于制作训练集和验证集、测试集的需要，我需要从原始数据集中，随机取出（剪切）一定数量的图片。手动挑选毕竟不能保证随机性，且费时费力。故参考了这位博主的方法。 import os, random, shutil def moveFile(fileDir): # 1 pathDir = os.listdir(fileDir) # 2 sample = random.sample...
Python爬虫——简单网页抓取（实战案例）小白篇_python爬虫爬取网页数据
2401_84562810的博客
05-02 1444
pythonkw = input(‘请输入要翻译的英文单词：’)data = {‘kw’: kw# 由于百度翻译没有反扒措施，因此可以不写请求头‘referer’: ‘百度翻译-200种语言互译、沟通全世界！’,
Python爬虫：异步数据抓取并保存到Excel
吴芒果的博客
10-11 1万+
Python爬虫：异步数据抓取并保存到Excel 标签（空格分隔）： Python 爬虫 异步 环境：Python 3.6、Pycharm 2017.2.3、Chrome 61.0.3163.100 ======> 2018年3月3号 更新整理了一下代码 <====== 修改了post请求中的form-data没有生效的错误 修改为可直接从程序外部传入参数，可...
python抓取网页内容到excel,python爬虫抓取网页数据
Bxwfjdjdbdgj的博客
01-08 1067
大家好，小编来为大家解答以下问题，python网页数据抓取淘宝完整代码，python抓取网页数据并写入excel，现在让我们一起来看看吧！下面就按这个路线逐一讲讲各部分的内容；HTTP协议是一个应用层面向对象协议，也叫超文本传输协议。是基于TCP协议的可靠传输，采用客户端/服务器端模式，指定了客户端可能发送给服务器什么样的消息，以及服务端给出什么样的响应。HTTP协议请求由状态行、请求头和请求正文三部分组成；请求端的HTTP报文叫做请求报文，响应端的叫做响应报文，通常，并不一定要有报文主体。
Python爬虫——简单网页抓取（实战案例）小白篇_python爬虫爬取网页数据(2)
2401_84562768的博客
05-02 129
上面的urllib是可对网页发起请求，在我们实际的爬虫应用中，如果频繁的访问一个网页，网站就会识别我们是不是爬虫，这个时候我们就要利用Request来伪装我们的请求头。如果只进行基本的爬虫网页抓取，那么urllib足够用了。requests库是一个常用于http请求的模块，可以方便的对网页进行爬取，是学习python爬虫比较好的http请求模块，比urllib库更加简洁，并且自带json解析器。掌握了它，Cookies、登录验证、代理设置等操作都不是事儿。
简单爬虫：爬取100张4K动漫图片
向日葵的专属太阳
10-08 1755
简单爬虫：爬取100张4K动漫图片 主要步骤： 对指定url发送请求 获取响应数据 数据解析 数据储存 4K图片地址 1.分析每页url并获取响应数据 第一页url:http://pic.netbian.com/4kdongman/ 第二页url:http://pic.netbian.com/4kdongman/index_2.html 第三页url:http://pic.netbian.com/4kdongman/index_3.html 除了第一页，之后每一页只有index_不同。我们需要爬取前五页
写个Python随机获取图片
weixin_42577735的博客
02-10 917
可以使用Python的内置库"random"来随机获取图片，下面是一个简单的代码示例： import random # 假设你有一个图片文件夹，里面有多个图片文件 images = ['image1.jpg', 'image2.jpg', 'image3.jpg', 'image4.jpg', 'image5.jpg'] # 使用random.choice从列表中随机选择一张图片 select...
朋友很喜欢打篮球，我用Python爬取了1000张他喜欢的NBA球星图片送给他【内附源码】
五包辣条的博客
12-12 1万+
大家好，我是辣条。 前言 朋友快过生日了，不知道送啥礼物【绝对不是因为我抠】，想着他非常喜欢打篮球，篮球他很多个了，应该也不会缺【不会是因为篮球贵】，那我就用技术白嫖点东西送给他吧，爬虫首当其冲呀，必须安排一波，于是我的灵感来了，爬取一波他喜欢的NBA球星图片送给他，再整点活合作一张大图，那效果不就出来了，这波真不错【辣条送礼物提示：送好朋友或者男女朋友礼物，不要只看价格，要看对方需要什么想要什么，礼轻情意重，主要是省钱…】 爬取目标 网址：百度一下 效果展示 工具准备 开发工具：Visual Stu
python怎么批量爬取图片_Python制作批量爬取网络图片的方法
weixin_36130963的博客
02-20 3214
Python制作批量爬取网络图片的方法发布时间：2020-11-17 11:14:24来源：亿速云阅读：86作者：小新这篇文章给大家分享的是有关Python制作批量爬取网络图片的方法的内容。小编觉得挺实用的，因此分享给大家做个参考。一起跟随小编过来看看吧。Python爬虫爬图片需要什么？下面用两种方法制作批量爬取网络图片的方法：第一种方法：基于urllib实现要点如下：1.url_request ...
python如何提取数据_python提取数据的常用方法
weixin_29230901的博客
02-10 1万+
在我们要对某一种情况进行分析时，需要大批量的数据材料作为分析的基础，在使用python爬取时，就会涉及到不同的抓取方法。在抓取数据的类型时，又会分为不同的情况进行讨论，本篇整理了三种提取数据方法：正则表达式、BeautifulSoup、lxml。下面就这些方法进行详解。假设我们需要爬取该网页中的国家名称和概况，我们依次使用这三种数据抓取的方法实现数据抓取。1、正则表达式(re库)正则表达式通常用于...
[Python数据可视化]Plotly Express: 地图数据可视化的魅力
最新发布
William数据分析的博客
09-17 903
在数据分析和可视化的世界中，地图数据可视化是一个强大而直观的工具，它可以帮助我们更好地理解和解释地理数据。Python 的 Plotly Express 库提供了一个简单而强大的方式来创建各种地图。本文将通过一个简单的示例，展示如何使用 Plotly Express 来创建一个交互式的地图，并探讨其在地图数据可视化方面的应用。
Tcl lnit error: Can’t find a usable init.tcl in the following directories 问题解决
梦想闹钟
09-15 551
实际研究后发现，其实py2exe已经把打包需要的lib放在dist文件夹下了，但是打包后的程序运行后却没有去lib下找，而是去找系统自带的环境变量里找，所以找不到。这个问题出现在我用py2exe打包了一个包含tkinter的图形化界面，在当前电脑上运行无问题，在移动到新电脑上后提示报错、getcwd用于获取当前工作目录绝对路径，在设置环境的变量的时候它用的是绝对路径-所以也导致了在当前电脑上能用而移动后不能用。解决方法是在你的程序里重新设置下环境变量，而且是用相对路径的形式。
Java企业面试题3
m0_74972727的博客
09-15 861
1. break和continue的作用(智*图) break：用于完全退出一个循环（如 for, while）或一个 switch 语句。当在循环体内遇到break语句时，程序会立即跳出当前循环体，继续执行循环之后的代码。 continue：用于跳过当前循环体中剩余的部分，并开始下一次循环。如果是在 for 循环中使用continue，则会直接进行条件判断以决定是否执行下一轮循环。 2. if分支语句和switch分支语句的异同之处(智*图) 相同点：都是用来根据不同的条件执行不同的代码块。
Python爬虫教程：京东手机图片抓取
"这篇教程介绍了如何使用Python爬虫获取京东手机页面的图片。" 在Python爬虫领域，京东手机图片的抓取是一个典型的网络数据抓取案例。本教程旨在指导初学者通过Python实现这一功能，从而更好地理解网络爬虫的工作...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值