手把手教你Python爬取女神套图

已于 2023-06-07 14:57:36 修改
阅读量745 收藏 2
点赞数
分类专栏： Python从入门到“入魔” 文章标签： python 可视化 数据分析
于 2021-05-04 11:06:28 首次发布
原文链接：https://mp.weixin.qq.com/s/5bNJOTCwK3dVS0e7qp4v7A
版权

以下文章来源于凹凸数据 ，作者叶庭云​​。

一个不务正业的数据🐶！爬虫、数据分析、可视化、方法论，一条龙服务！业务范围：Python、SQL、Excel、Tableau······

疲惫的生活里总要有些温柔梦想吧……

图片

目标URL：http://www.win4000.com/meinvtag4_1.html

爬取美桌网某个标签下的美女壁纸，点进详情页可以发现，里面是一组套图

一、网页分析

图片

翻页查看 URL 变化规律：

http://www.win4000.com/meinvtag4_1.html
http://www.win4000.com/meinvtag4_2.html
http://www.win4000.com/meinvtag4_3.html
http://www.win4000.com/meinvtag4_4.html
http://www.win4000.com/meinvtag4_5.html

页面里看到的每张图片点击进去有详情页，里面是套图

图片

图片

详情页里套图URL变化规律：

http://www.win4000.com/meinv216987_1.html
http://www.win4000.com/meinv216987_2.html
http://www.win4000.com/meinv216987_3.html

图片

在网页源代码中也可以直接找到数据：

图片

图片名称  下载链接
性感美女肌肤雪白撩人写真图片
http://pic1.win4000.com/pic/8/e0/24b989d57c.jpg

二、爬虫基本思路

图片

1. 获取5页的套图的URL

def get_taotu_url():
    for i in range(1, 6):
        url = f'http://www.win4000.com/meinvtag4_{i}.html'
        headers = {
            'User-Agent': choice(user_agent)
        }
        # 发送请求  获取响应
        rep = requests.get(url, headers=headers)
        # print(rep.status_code)    状态码  200
        # print(rep.text)
        html = etree.HTML(rep.text)
        taotu_url = html.xpath('//div[@class="tab_tj"]/div/div/ul/li/a/@href')
        # 过滤掉无效的url
        taotu_url = [item for item in taotu_url if len(item) == 39]
        # 一个页面有24个图片
        print(taotu_url, len(taotu_url), sep='\n')

图片

2. 进入套图详情页爬取图片

def get_img(url):
    headers = {
        'User-Agent': choice(user_agent)
    }
    # 发送请求  获取响应
    rep = requests.get(url, headers=headers)
    # 解析响应
    html = etree.HTML(rep.text)
    # 获取套图名称   最大页数
    name = html.xpath('//div[@class="ptitle"]/h1/text()')[0]
    os.mkdir(r'./女神套图/{}'.format(name))
    max_page = html.xpath('//div[@class="ptitle"]/em/text()')
    # 字符串替换  便于之后构造url请求
    url1 = url.replace('.html', '_{}.html')
    for i in range(1, int(max_page[0]) + 1):
        url2 = url1.format(i)
        sleep(randint(1, 3))
        reps = requests.get(url2, headers=headers)
        dom = etree.HTML(reps.text)
        src = dom.xpath('//div[@class="main-wrap"]/div[1]/a/img/@data-original')[0]
        file_name = name + f'第{i}张.jpg'
        img = requests.get(src, headers=headers).content
        with open(r'./女神套图/{}/{}'.format(name, file_name), 'wb') as f:
            f.write(img)
            print(f'成功下载图片：{file_name}')

3. 完整代码实现

# -*- coding: utf-8 -*-
"""
Created on Sat Nov 7 19:15:04 2020
微信公众号: 凹凸数据
@File ：spider.py
@Author ：叶庭云
@CSDN ：https://yetingyun.blog.csdn.net/
"""
import requests
from random import choice, randint
from lxml import etree
import os
from concurrent.futures import ThreadPoolExecutor
from time import sleep


# 自己构造请求头池 用于切换
user_agent = [
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
    "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
    ]

# 不存在文件夹 就创建
if not os.path.exists('女神套图'):
    os.mkdir('女神套图')


# 获取5页的套图的URL
def get_taotu_url():
    taotu_urls = []
    for i in range(1, 6):
        url = f'http://www.win4000.com/meinvtag4_{i}.html'
        headers = {
            'User-Agent': choice(user_agent)
        }
        # 发送请求 获取响应
        rep = requests.get(url, headers=headers)
        # print(rep.status_code) 状态码 200
        # print(rep.text)
        html = etree.HTML(rep.text)
        taotu_url = html.xpath('//div[@class="tab_tj"]/div/div/ul/li/a/@href')
        # 过滤掉无效的url
        taotu_url = [item for item in taotu_url if len(item) == 39]
        # 一个页面有24个图片
        # print(taotu_url, len(taotu_url), sep='\n')
        taotu_urls.extend(taotu_url)

    return taotu_urls


# 进入套图详情页爬取图片
def get_img(url):
    headers = {
        'User-Agent': choice(user_agent)
    }
    # 发送请求 获取响应
    rep = requests.get(url, headers=headers)
    # 解析响应
    html = etree.HTML(rep.text)
    # 获取套图名称 最大页数
    name = html.xpath('//div[@class="ptitle"]/h1/text()')[0]
    os.mkdir(r'./女神套图/{}'.format(name))
    max_page = html.xpath('//div[@class="ptitle"]/em/text()')
    # 字符串替换 便于之后构造url请求
    url1 = url.replace('.html', '_{}.html')
    # 翻页爬取这组套图的图片
    for i in range(1, int(max_page[0]) + 1):
        # 构造url
        url2 = url1.format(i)
        # 休眠 
        sleep(randint(1, 3))
        # 发送请求 获取响应
        reps = requests.get(url2, headers=headers)
        # 解析响应
        dom = etree.HTML(reps.text)
        # 定位提取图片下载链接
        src = dom.xpath('//div[@class="main-wrap"]/div[1]/a/img/@data-original')[0]
        # 构造图片保存的名称
        file_name = name + f'第{i}张.jpg'
        # 请求下载图片 保存图片 输出提示信息
        img = requests.get(src, headers=headers).content
        with open(r'./女神套图/{}/{}'.format(name, file_name), 'wb') as f:
            f.write(img)
            print(f'成功下载图片：{file_name}')


# 主函数调用 开多线程
def main():
    taotu_urls = get_taotu_url()
    with ThreadPoolExecutor(max_workers=4) as exector:
        exector.map(get_img, taotu_urls)
    print('=================== 图片全部下载成功啦！=====================')
    
    
if __name__ == '__main__':
    main()

运行效果如下：

图片

程序运行一会，图片就全部爬取下来保存在本地文件夹，5页的120组套图，美滋滋。

图片

四、其他说明

  • 不建议抓取太多数据，容易对服务器造成负载，浅尝辄止即可。

  • 通过本文爬虫，可以帮助你了解套图的爬取，如何通过字符串的拼接来构造URL请求。

  • 本文利用 Python 爬虫实现批量下载女神套图，实现过程中也会遇到一些问题，多思考和调试，最终解决问题，也能理解得更深刻。

yishuihanq
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
-aitaotu:爱套图爬虫aitaotu python爬虫python-tk
03-17
爱套图爬虫简介 项目分3种py文件 1，获取每组图片的网址，并保存网址到指定文件，因为本项目一个页面包含20组图片，所以每20组图片网址保存为一个txt文件 爱套图爬虫aitaotu_111页版.py 2，读取保存好的ulr文件，用于循环url文件，从中获取一组图片的url，然后通过该组图片的url进行爬取图片 爱套图爬虫aitaotu单TXT20组图片版.py 3，该项目图片框架无关，大量图片每页一张，有少量图片每页多张，所以把每页多张的图片从（2）中挑选出来，单独爬取 爱套图爬虫aitaotu_error版.py PS：分文件的好处是，能同时开多个py同时爬取，只需重新不同URL文件即可 项目分2种显示方式 1，命令行版 命令行显示爬取时的一些信息 2，python-tk版 把爬取时的主要信息通过python-tk显示 PS：图片刷新采用每组图片建立一个窗口显示，该组图片爬取完成
Python爬虫实战：优美图库美女写真高效下载（附完整代码）
coder-tll 的博客
02-18 2770
通过上述步骤和代码，你现在可以快速下载优美图库上的美女写真集，将美丽的瞬间保存到本地。这个项目不仅能够增强你的Python编程技能，也让你更加熟悉多线程编程的实际应用。
2024年Python最全Python爬取美女写真照的全站异步爬虫，设置了反爬我也要爬给你看
最新发布
2401_84585234的博客
04-30 523
【代码】2024年Python最全Python爬取美女写真照的全站异步爬虫，设置了反爬我也要爬给你看。
Python爬取美女写真照的全站异步爬虫，设置了反爬我也要爬给你看
m0_74942241的博客
09-28 1750
可以看到，虽然有反爬限制，但1秒10张的速度是完全可以实用的，虽然之前想尝试用代{过}{滤}理池规避，但实际实验后发现，免费的完全不靠谱，可用的又太贵，只是用来日常学习实用，还是采用限制并发比较实际。
爬虫入门，带你用30行代码爬取高清美女写真，附安装包+源码
junior5的专栏
08-10 3522
1、准备工作 首先需要一个相亲网站的账号，我这里选取的是“我主良缘”。注册登陆就可以了： 1 高清壁纸：https://www.36992.com/girls/list-1.html 2 Python环境 Python3.9新特性： 字典“并集”运算符 类型提示的改善 装饰器语法更加灵活 classmethod 支持包装其他描述器 新增模块、函数、方法 Python官网下载：https://www.python.org/ 3 PyCharm编译器 优点： 1 )每个文件都有其输出窗口 2 )可以终止进程（只
养眼神器，爬取美女网站个人的写真套图
qq_46292926的博客
11-10 4574
python爬虫，套图爬取
学了那么久Python还什么都做不了，我觉得你该试试这个方法了
龙叔的博客
11-08 1万+
答应我，别再做无用功了
手把手教你写python爬虫
11-21
本教程“手把手教你写Python爬虫”将引导你逐步掌握这一技能。Python因其语法简洁、库资源丰富，成为爬虫开发的首选语言。下面，我们将深入探讨Python爬虫的核心概念、常用库以及实践技巧。 首先，你需要了解网络...
手把手教你写Python爬虫
09-04
本教程将深入浅出地教你如何使用Python编写爬虫，让你从零基础快速入门。 首先，我们需要了解Python爬虫的基础知识。爬虫主要分为三个步骤：请求网页、解析网页和存储数据。Python中的`requests`库可以用来发送HTTP...
手把手教你python实现SVM算法
09-20
【Python实现SVM算法】 机器学习（Machine Learning）是一种让计算机通过学习和适应来改进自身性能的技术，它是人工智能的核心组成部分。机器学习主要包括分类和问题求解两大类任务。支持向量机（Support Vector ...
手把手教你用Python开发抖音表白神器
08-19
这个项目不仅将展示Python在实际应用中的强大能力，还将让你了解如何利用编程为生活增添趣味性。我们将涵盖以下几个关键知识点： 1. **Python基础知识**：首先，你需要对Python的基本语法有清晰的理解，包括变量、...
Python-写真美女套图爬虫美女脸部识别DCGAN脸部自动生成
08-12
写真美女套图：爬虫 美女脸部识别 DCGAN脸部自动生成
美女图片爬虫
12-07
美女图片爬虫，一键获取海量图片，帅啊网图片，Python爬虫，Request， BeautifulSoup
手把手教你从零搭建Python数据分析环境
02-25
来源于cnblogs，介绍了Python以及必要的库安装，python编写，SublimeText集成等。Python目前有两个版本，一个是2.7，一个是3.4，在同事的推荐下，选择了2.7。Python的下载直接去官网就可以了，但是想要做数据分析，...
[day4]python网络爬虫实战：爬取美女写真图片(Scrapy版)
ChatGPTer
10-15 1371
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
Python爬虫爬取美女写真实例
qq_35572368的博客
04-17 4800
Python爬虫爬取美女写真实例 微信关注公众号：夜寒信息 致力于为每一位用户免费提供更优质技术帮助与资源供给，感谢支持！     这是我写的一个较为简单的爬虫代码，用于爬取美女写真（咳咳，当然是正规网站）只用到了requests库，未用到BeautifulSoup，所以比较简单，适合爬虫初学者看看。后续会出使用requests+beautifulsoup的爬虫案例，及正则表达式的应用案例。请...
[day2]python网络爬虫实战：爬取美女写真图片(增强版)
ChatGPTer
10-13 2625
今天我们继续爬取妹子图片，通过另一种方式来实现。
绅士福利：Python秒爬取全网美女写真
热门推荐
colours2009的博客
03-25 1万+
前言 深夜放福利，老司机带你放飞自我，利用Python这个强大的胶水语言，帮助你实现梦想，可以任意爬取你想要的任何类型图片，只要网站标签有的，你都可以 那么开始主题，首先导入库 ...
python爬虫-抓取写真网
qq_42370150的博客
06-01 584
import requests from lxml import etree from pyquery import PyQuery as pq ​ headers = { 'Referer': 'http://www.xiezhenww.com/', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) ...
python爬取物流信息_手把手教你用Python爬取快递100查询你的物流信息
05-18
好的，我可以为您提供相关的Python爬虫的教程。 首先，您需要安装Python的requests和BeautifulSoup库，可以通过以下命令进行安装： ``` pip install requests pip install beautifulsoup4 ``` 接下来，您可以使用以下代码进行物流信息的爬取： ```python import requests from bs4 import BeautifulSoup # 输入需要查询的快递单号和快递公司 express_number = input('请输入快递单号：') express_company = input('请输入快递公司：') url = 'https://www.kuaidi100.com/{}/sn/{}'.format(express_company, express_number) # 发送请求 response = requests.get(url) response.encoding = 'utf-8' # 解析html soup = BeautifulSoup(response.text, 'html.parser') # 获取物流信息列表 express_list = soup.find_all('div', class_='item-content') # 输出物流信息 for content in express_list: print(content.text.strip()) ``` 以上代码会要求您输入快递单号和快递公司，然后通过构造url发送请求，再通过BeautifulSoup解析html页面，获取物流信息列表并输出。 希望这个简单的教程能够帮助到您。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值