Python爬虫 | 斗图网表情包抓取

于 2021-10-16 21:51:44 发布
阅读量772 收藏 3
点赞数 1
分类专栏： 爬虫 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41541253/article/details/120037305
版权
本文介绍了如何使用Python爬虫抓取斗图网的表情包。通过分析网页结构，发现图片URL与页码的关系，利用XPath获取每个表情包的div元素，再提取img标签的src属性，逐个下载并保存图片。完整代码分享，强调仅供技术交流学习，禁止非法商用。
摘要由CSDN通过智能技术生成

Python爬虫 | 斗图网表情包抓取

1、数据来源分析

  打开斗图吧的主页，发现网址非常有规律，通过页码数控制下一页的改变

页数 网址
第一页 https://www.doutub.com/img_lists/new/1
第二页 https://www.doutub.com/img_lists/new/2

  并且，每张图片都是存在在div标签中的，因此首先要找到外层的div，最后对每一个img标签的src属性进行请求就行了
在这里插入图片描述

2、制作div_list

  利用xpath在网页中容易得到每一个div_list
在这里插入图片描述
  每一页共有50，也就意味着有50个表情包
在这里插入图片描述

3、发起请求

  利用循环，获取每一个div中获取img标签的src属性，并直接进行图片获取，并保存
在这里插入图片描述

4、保存图片

  将图片按照页码建立文件夹
在这里插入图片描述

5、批量获取

  利用循环，构造如下url即可

https://www.doutub.com/img_lists/new/{i]

6、完整代码

import requests
最低0.47元/天 解锁文章
「已注销」
关注
专栏目录
爬取斗图吧网站并下载表情包
qq_45812394的博客
05-19 490
需求 获取斗图啦网站最新表情的信息，并下载图片到指定的文件夹。 为了提高下载速度可以使用多线程的方式操作。 获取需要用到的url 通过对网站url（https://www.doutula.com/photo/list/?page=1）的分析，可得page= 后的数字控制页数，那么就可以通过控制这个数字来获得每一页表情包的url for x in range(1,11): url = 'https://www.doutula.com/photo/list/?page=%d' % x 获取要爬取图片的
为避免尴尬，我竟爬取了两千多张斗图
weixin_42577686的博客
08-13 874
大家好，我是啃书君。 前几天和女神聊天的时候实在是太尬了，因为没有足够的斗图表情包，整个聊天的气氛都带动不起来，所以抑郁不得志！ 为了追到心目中的完美女神，我爬了一千多张斗图表情包，只为下一次聊天的时候，主动权都在我的手上。 考虑到有些小伙伴可能在python基础不是很好，因此，啃书君决定先帮各位补补基础知识，大佬可以直接看实战内容。本次实战内容是爬取：斗图吧。 面向对象 python从设计开始就是一门面向对象的的语言，因此使用python创建一个类与对象是非常简单的一件事情。 如果你以前没有接触过面向对象
斗图网爬虫
just_so_so_fnc的博客
05-14 410
import urllib from urllib import request # from lxml import etree import os import time from lxml import etree import requests #导入线程 池模块 from multiprocessing.dummy import Pool as Treadpool count=0 #...
斗图网的图片抓取
MarkAdc的博客
05-08 1597
import requests, re, multiprocessing def main(url): response = requests.get(url) html = response.text imgs_name = re.findall('alt="(.*?)"', html, re.S) # 获取到每张图片的名称 imgs_url = re.fin...
spider_爬取斗图啦所有表情包（图片保存）
weixin_30509393的博客
06-11 999
"""爬取斗图吧里面的所有表情包知识点总结： 一、使用requests库进行爬取，随机请求头（网站反爬措施少。挂个请求头足矣） 二、具体思路： 1.先爬取所有的图片url，放在列表里 2.循环遍历url请求这些图片， 3.将图片进行分类保存三、分类保存用到一个知识点，endwith（以***结尾） ...
python爬虫抓取表情包.zip
最新发布
09-07
python爬虫抓取表情包.zip python爬虫抓取表情包.zip python爬虫抓取表情包.zip python爬虫抓取表情包.zip python爬虫抓取表情包.zip
python爬虫，自定义QQ表情包类型和数量
06-28
Python爬虫技术是一种用于自动化网页数据抓取的工具，它可以帮助我们从互联网上获取大量有用的信息，例如在本例中，我们关注的是抓取和处理QQ表情包。Python的网络爬虫可以用来从网站上抓取表情包图片，并根据用户的...
python爬虫代码开发 - 爬取网站头像案例，可做微信QQ博客头像或小表情
05-31
Python爬虫技术是数据获取的重要工具，特别是在网络信息丰富的今天，它可以帮助我们自动化地抓取网页上的各种数据，包括图片资源。在这个特定的案例中，我们关注的是如何使用Python爬虫来获取网站上的头像，比如微信...
使用爬虫获得表情包并进行resize处理
02-18
本项目涉及的是利用爬虫技术下载网络上的表情包，并通过编程对这些图片进行resize处理，使其适应特定尺寸，如750*750像素。完成后，这些处理过的表情包可以用于B站（哔哩哔哩）的贴纸投稿，增添趣味性。接下来，我们...
CSDN,斗图网爬虫Demo(JAVA爬虫)
10-25
自己编写的一个SSM整合内容,使用WebMagic框架写了关于CSDN的三个从简单到稍微复杂的爬虫Demo,以及一个爬取斗图网表情包数据的Demo,测试都可运行后进行打包上传.使用Mysql5.5数据库.做了一个前台用于展示CSDN爬取的数据.相关代码片段或者内容请查看本人博客,谢谢
Python:网络爬虫爬取某表情包网站
qq_46020744的博客
03-26 740
Pyrhont:网络爬虫爬取某表情包网站 参考： 爬虫基础知识点汇总(html文件基础和4个常用库 超级详细长文预警) 【爬虫教程】吐血整理，最详细的爬虫入门教程~ HTML的简单介绍 HTML的全称为超文本标记语言，是一种标记语言。它包括一系列标签．通过这些标签可以将网络上的文档格式统一，使分散的Internet资源连接为一个逻辑整体。HTML文本是由HTML命令组成的描述性文本，HTML命令可以说明文字，图形、动画、声音、表格、链接等。 作为爬虫初学者，我们了解HTML的基本组成、标签以及 标签的属性
一个简单的表情包爬取程序
weixin_42807060的博客
07-18 494
一个简单的表情包爬取程序 图源网站斗图吧 工具requests库 正则表达式切割 import requests from lxml import etree from urllib import request import os import re def main(): for x in range(1,101): url = "http://www.doutula...
表情包--爬虫
sunny_everday的博客
04-23 720
#!/user/bin/python # -*- coding:utf-8 -*- # __author__:yanglong # __data__:2019.4.23 import requests from lxml import etree class phto(): def __init__(self): self.url="https://www.soogif...
Python实战——斗图网爬虫
SHARECLUB
02-07 618
导入的包 request 一个很实用的python HTTP客户端库，编写爬虫和测试服务器响应数据时经常会用到 语法实例： import requests r = requests.get('https://api.github.com/events')   bs4 全名BeautifulSoup，是编写python爬虫常用库之一，主要用来解析html标签 语法实例...
python爬取斗图网表情包保存到本地
wwxy1995的博客
03-10 864
import requests import re def get_images_list(page): """批量获取斗图网图片""" # 获取每一页所有图的网址 response = requests.get("http://www.doutula.com/photo/list/?page={}".format(page)) html = response.t...
斗图表情包爬虫（基于多线程）
weixin_34336292的博客
04-18 1201
今天写一下关于多线程的爬虫，这次我们爬取的是斗图网站的表情包。 一. 思路： 1.对网站翻页链接进行分析，发现链接为：“http://www.doutula.com/article/list/?page=3”，我们只需要对数字“3”进行更改便可以到达想访问的网页界面。 2.创建一个文件夹，用来存储表情包文件夹。 3.通过分析获得每个表情包的链接，并将其封装到一个函数中，函数最终返回一个含有...
python爬虫之-斗图网爬取
蜘蛛爱爬虫
06-21 435
python爬虫之-斗图啦爬取 利用：requests， re 功能：用户自定义关键词，页码 整体代码 # 请求库 import requests # 正则 import re # ...
浅谈Python爬虫（六）【表情包抓取实例】
qq_42452095的博客
04-24 604
抓取表情包 网址：https://www.doutula.com 语言：Python 3.7 编译器： PyCharm 2020.1 专业版 浏览器：Chrome 81.0.4044.122 使用到的库：requests、lxml、Queue、ThreadPoolExecutor 大概思路 分析网页构成，发现有很多页，找到翻页规律，如下： https://www.doutula.com/a...
Python爬虫实战：网络股票信息抓取示例
"这篇教程将演示如何使用Python爬虫来抓取网络上的股票信息，主要涉及的编程语言是Python，使用的库包括requests、BeautifulSoup，以及正则表达式re。" 在Python爬虫领域，requests库常用于发送HTTP请求，如GET请求...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值