python学习笔记爬虫——爬取网络表情包

最新推荐文章于 2021-11-03 21:35:00 发布
最新推荐文章于 2021-11-03 21:35:00 发布
阅读量200 收藏
点赞数
分类专栏： 学习 爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30305565/article/details/99110622
版权

网站:‘https://www.doutula.com/’
目的:指定要从第几页开始到第几页结束爬取最新表情包图片
代码：

import requests,time,random,re
from bs4 import BeautifulSoup
from lxml import etree
from urllib import request
import ssl

ssl._create_default_https_context = ssl._create_unverified_context

file='/Users/qq/desktop/表情包/'
user_agent = [
       "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)",
       "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
       "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
       "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
       "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
       "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
       "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
       "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
       "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
       "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
       "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
       "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
       "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
       "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
       "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
       "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52"
]

headers={"User-Agent": random.choice(user_agent)}
class biaoqingbao(object):
    url='http://www.doutula.com/photo/list/?page='
    def __init__(self,star_page,end_page):
        self.star_page=star_page
        self.end_page=end_page

    def get_one_url(self,page):
        now_url=self.url+str(page)
        r = requests.get(now_url, headers=headers, verify=False).text
        return r
    def get_one_data(self,contins):
        xml=etree.HTML(contins)
        img_url = xml.xpath('//ul/li/div/div/a/img[@referrerpolicy="no-referrer"]/@data-original')
        title_list = xml.xpath('//ul/li/div/div/a/p/text()')
        return zip(img_url, title_list)
    def down_imgs(self,data):
        for img,title in data:
            print('正在下载:{}'.format(title))
            suffix=img[-4:]#图片后缀
            if len(title)>20:
                request.urlretrieve(img,file+title[20:]+suffix)
            else:
                request.urlretrieve(img,file+title+suffix)


    def run(self):
        for page in range(self.star_page,self.end_page+1):
            contins=self.get_one_url(page)
            print('='*50)
            data=self.get_one_data(contins)
            self.down_imgs(data)


def main():
    star_page=int(input('请输入开始页码:'))
    end_page=int(input('请输入结束页码:'))
    down=biaoqingbao(star_page,end_page)
    down.run()

if __name__ == '__main__':
    main()

下面是对代码的一次优化，这次我增加了用户可以自定义保存文件夹名的功能，使用的模块是python标准库os

import requests,random,os
from lxml import etree
from urllib import request
import ssl

ssl._create_default_https_context = ssl._create_unverified_context#设置整个程序都默认关闭ssl认证

#file='/Users/qq/desktop/表情包/'
user_agent = [
       "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)",
       "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
       "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
       "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
       "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
       "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
       "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
       "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
       "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
       "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
       "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
       "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
       "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
       "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
       "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
       "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52"
]

headers={"User-Agent": random.choice(user_agent)}
class biaoqingbao(object):
    url='http://www.doutula.com/photo/list/?page='
    def __init__(self,star_page,end_page,flie_name):
        self.star_page=star_page
        self.end_page=end_page
        self.flie_name=flie_name
    def get_one_url(self,page):
        now_url=self.url+str(page)
        r = requests.get(now_url, headers=headers, verify=False).text
        return r
    def get_one_data(self,contins):
        xml=etree.HTML(contins)
        img_url = xml.xpath('//ul/li/div/div/a/img[@referrerpolicy="no-referrer"]/@data-original')
        title_list = xml.xpath('//ul/li/div/div/a/p/text()')
        return zip(img_url, title_list)
    def new_flie(self,name):
    ‘’‘这个函数的功能就是用户可以自定义保存文件的文件夹名称’‘’
        flie='/Users/qq/desktop/{}/'.format(name)
        if os.path.exists(flie):#判断保存的文件夹已经存在则打印已经存在字样
            print('文件夹存在')
        else:#如果存在就新建文件夹
            print('新建文件夹')
            os.mkdir(flie)
        return flie#返回文件夹路径
    def down_imgs(self,data,name):
        flie=self.new_flie(name)
        for img,title in data:
            print('正在下载:{}'.format(title))
            suffix=img[-4:]#图片后缀
            if len(title)>20:
                request.urlretrieve(img,flie+title[20:]+suffix)
            else:
                request.urlretrieve(img,flie+title+suffix)
    def run(self):
        for page in range(self.star_page,self.end_page+1):
            contins=self.get_one_url(page)
            print('='*50)
            data=self.get_one_data(contins)
            self.down_imgs(data,self.flie_name)

def main():
    flie_name=input('请输入要保存的文件夹:')
    star_page=int(input('请输入开始页码:'))
    end_page=int(input('请输入结束页码:'))
    down=biaoqingbao(star_page,end_page,flie_name)
    down.run()

if __name__ == '__main__':
    main()
qq_30305565
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python3学习笔记之七——爬虫之爬取qq表情金馆长
joey_2018_的博客
06-14 630
网址：http://qq.yh31.com/zjbq/0551964.html一看吓一跳，一共有95页但是每一页的url有迹可循，比如：第二页http://qq.yh31.com/zjbq/0551964_2.html第三页http://qq.yh31.com/zjbq/0551964_3.html仅仅是在第一页的基础上增加了_2,_3,那就可以通过循环拼接字符串遍历所有页面。接下来查看第一页上的...
表情包的爬取
qq_46131444的博客
05-19 659
今天这一期教大家如何爬取并下载表情包，我门爬取最新表情表，首页链接如下：表情包首页 爬取的页数我们以50页为示例，如果你想爬取全部，可以自行改动 首先我们用代码获取前50页的链接： import requests from bs4 import BeautifulSoup from urllib.request import urlretrieve import os BASE_PAGE_URL = 'http://www.doutula.com/photo/list/?page=' PAGE_URL_L
简单 20 行 python 代码实现爬取表情包，麻麻再也不用担心我聊天图慌了！！
一碗周
11-11 1397
古之立大事者，不为超世之才，亦必有坚忍不拔之志——苏轼 写在前面 今天弄了一个简易的爬表情包的脚本，这个脚本是 python 的，下面就将我的思路分享给大家。 网站分析 我们爬取的是 斗图啦 这个网站最新表情页，我们先来分析一下其 <img> 中的属性都有些什么。 我们在 懒加载 这篇博客介绍过原 src 属性的值指向占位图片， data-original 属性设置图片的才是真实路径，所以这个链接是有用的；alt 属性貌似是图片名称，先记下。还有 class 属性，也记下来(要考的)，用于.
简单python爬表情包
qq_44322163的博客
08-15 386
简单python爬表情包 使用前配置好环境 # coding=utf-8 ''' [小试牛刀]爬取斗图网的图片 ''' import requests from urllib.request import urlretrieve from bs4 import BeautifulSoup import time def get_page(url): '...
Python爬虫爬取表情包
chatblanc的博客
10-18 4061
听说你在网上斗图斗输了？听说你连弔图也不知道去哪找？ 没事啦，你看到这篇文章就证明你找到救星啦！在本篇文章里我会带着大家一起来爬取一下表情包网，从此让你的图库再也不缺弔图，妈妈再也不担心我斗图找不到图啦！那废话不多说 直接上解析。 首先我们要知道如果我们要爬取一个网站，我们要先分析这个网站，了解你的需求是什么， ...
Python知乎爬虫——爬取知乎用户简单数据信息
05-08
萌新入坑代码，大佬勿喷
python网络爬虫——爬取新浪新闻咨询
02-25
python网络爬虫，抓取新浪新闻信息，包括新闻标题、时间、来源、正文等
python_爬虫——爬取糗事百科
03-10
亲测有效，不管是windows 还是Linux都...使用python 爬取糗事百科的段子，通过回车键控制，一次一个，同时可以把看过的内容保存到本地查看 具体实现可以参照 http://blog.csdn.net/qiqiyingse/article/details/60583129
Python爬虫小例子——爬取51job发布的工作职位
12-17
不知从何时起，Python和爬虫就如初恋一般，情不知所起，一往而深，相信很多朋友学习Python，都是从爬虫开始，其实究其原因，不外两方面：其一Python对爬虫的支持度比较好，类库众多。其二Pyhton的语法简单，入门容易...
Python爬取 表情包爬取
qq_41755143的博客
03-22 2707
Xpath Helper安装:http://chromecj.com/utilities/2019-01/1791.html 软件安装地址:https://blog.csdn.net/yhnobody/article/details/81030436 Q1,如何得到请求头headers: Q2,如何在PyCharm安装库: 先讲解def Download_imag...
Python爬取表情包
qq_52984184的博客
05-20 1523
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么 二、使用步骤 1.引入库 2.读入数据 总结 前言 随着网络的发达，大家在网上聊天时候经常发表情斗图，但是有的时候斗图斗不过就会让自己很难过，影响自己的心情。 本文介绍如何用python的简单爬虫爬取网站（）的图片。 一、python爬虫是什么？ 爬虫是基于Python编程而创造出来的一种网络资源的抓取方式，一般用于网络资源的获取。 二、使用步骤 ...
爬取表情包-1分钟爬取1000多张图，斗图不在怕-（原创）
Green_F的博客
08-04 818
有时候和别人聊天，别人有一大堆的图向你仍来，自己却没有可以回应的表情包，所以写了一个爬取网页表情包的代码，一分钟爬取1000+张，多的不知道该用哪一张了，哈哈，再也不怕斗图了 需要的工具：python3版本以上 一个编辑器建议：pycharm 第三方库：request os re 还要一个会粘贴复制而手 话不多说，代码在下面，需要的小伙伴拿去用吧 # 第三方库引用 import requests import re import os # 创建文件 if not os...
Python使用urllib工具抓取图片
panda_225400的博客
11-03 692
文章目录前言一、urllib是什么？二、使用步骤1.引入库2.解析数据3.出现问题总结 前言 使用urllib.urlretrieve(url,filename)时经常遇到下载到一半时，出现urllib.ContentTooShortError错误。为什么呢 一、urllib是什么？ Urllib是python内置的HTTP请求库 包括以下模块 urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparser
python---爬取表情包
记录小白的成长之路
10-16 584
周末 没什么事 在网上找视频课 找到了一个还不错的爬虫视频课 突然对爬虫有了兴趣 就跟这视频 操作了一下 所以写文章 记录一下 方便以后 查看 复习 首先打开要爬取的表情包网站 对网站的URL进行分析 这是一个get请求 问号 后面的page是参数 因此这是第一页的内容 我先对单个图片进行下载 操作 首页获取图片的url 鼠标放在要下载的图片上 右键---------》点击复制图片连接...
python入门爬取表情包
慧子
09-02 3802
九年义务教育加三年高考，从来没有过过这么紧张充实的暑假，生怕自己来学校了啥都没学到心慌慌，马上大二了，我慌啊，害怕小学弟学妹们进来了我却当不起这个学姐，到时候别人问我啥我 啥都不会啊；虽然我现在也感觉没学到啥，但是回想一下这个暑假做的事情心里却是极开心的；放暑假以前就计划好了做完答辩就开始进入python的学习，最后我的答辩居然耗费了我接近一个月的时间做完以后又是各种修改，在家没怎么学python...
想成为斗图帝吗？python教你爬取大量全套表情包（附源码） ！
qq_39363022的博客
01-25 1342
前言 相信大家在聊天的时候都会斗图吧？尤其是跟喜欢的人，越斗越欢喜，然而有时候斗者斗，你会发现一个很尴尬的问题，就是接不上图或者没图，哈哈，然后乱发图，最后会结束话题（o(╥﹏╥)o，本人就是这样），小编给大家一个福利，嘻嘻，爬取表情包，希望大家早日找到心仪的泡脚凤爪（咳咳，希望她没看到这篇文章，不然我会死定的）。 导言 我们每做一件事情的时候，都要有一个思路和过程，这样我们才会明白下一步要干嘛，...
爬虫-爬取表情包
zjb5599的博客
06-14 1692
1.思路 2.分析
使用python爬取百度的表情包
qq_37489565的博客
08-22 703
import requests import os import time for n in range(1,3): m = 1 p = int(input(“请输入你要爬取的页数：”)) for n in range (1,p+1): #通过抓包获取url url = “http://image.baidu.com/search/acjson?tn=resul...
python爬虫爬取表情包
最新发布
11-30
以下是使用Python爬虫爬取表情包的步骤： 1. 导入必要的库，如requests、BeautifulSoup等。 2. 确定要爬取的网站，并发送请求获取网页内容。 3. 使用BeautifulSoup解析网页内容，获取表情包的链接。 4. 遍历表情...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值