单线程顺序爬取图片以及对应的标签

已于 2022-03-22 15:38:29 修改
阅读量1.9k 收藏
点赞数
文章标签： python 爬虫
于 2022-03-22 15:11:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eye123456789/article/details/123661304
版权 
import requests
from bs4 import BeautifulSoup
import json
import lxml
import re
import os
import os.path
import string
import urllib3
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)#用于消除warning


path = 'D:/httpswwwpexelscomzh-tw/'
def dwonload_img(page):
    global count
    url = f'https://www.pexels.com/zh-tw/?format=js&seed={page}&type='
    res = requests.get(url, headers={
        'Accept': 'text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Referer': 'https://www.pexels.com/zh-tw/',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36 Edg/99.0.1150.39',
        'Cookie': '_ga=GA1.2.953246023.1646290358; _hjSessionUser_171201=eyJpZCI6ImI4NzRmMjRiLWRlMjQtNWZlMi1hNjRkLWUyMDA2MjRmODFlYiIsImNyZWF0ZWQiOjE2NDYyOTA5MDI2NTcsImV4aXN0aW5nIjp0cnVlfQ==; locale=zh-TW; NEXT_LOCALE=zh-TW; _gid=GA1.2.572006961.1647307445; ab.storage.sessionId.5791d6db-4410-4ace-8814-12c903a548ba=%7B%22g%22%3A%223c77dd5a-d80d-5514-6e89-a515667aaba1%22%2C%22e%22%3A1647336874054%2C%22c%22%3A1647335074055%2C%22l%22%3A1647335074055%7D; ab.storage.deviceId.5791d6db-4410-4ace-8814-12c903a548ba=%7B%22g%22%3A%22b43b9c98-d28a-dfdb-1c65-c0f58a7b3689%22%2C%22c%22%3A1646290357434%2C%22l%22%3A1647335074056%7D; _gat=1; __cf_bm=MtqVbgDKWWQPM0LD5MJ2yjHVLCK1HddcW169X4OgWPQ-1647335087-0-AZcu7uQ0AlxdR8R5ANaYX7c9fCDbKBKL4XGoxTSgYCC0zon2SKUWtTvwSNBk4TyzHLrRW0TFq2RYZY42JOW2sbMjYFx3eMvD2mZc4zNwlDH9HAaGN9/HdaiOuvGR0+ClhwtVkqHRgkLtH4jt2DpznUh7yzGGojmH8CG5MBNuWrny'
        }, proxies={'http': 'http://127.0.0.1:18888', 'https': 'http://127.0.0.1:18888'}, verify=False)

    # 获取img_url
    text = res.text
    print(res.status_code)
    all_url = re.findall("data-big-src=\\\\\"(http.+?)\"", text)  # 正则表达式匹配

    # dwonload
    for img in all_url:
        pattern = re.compile(r'\d+')
        id = pattern.findall(img)[0]
        str_id = str(id)
        dwonload_url = f'https://images.pexels.com/photos/{str_id}/pexels-photo-{str_id}.jpeg'
        print(dwonload_url)
        text_label_url = f'https://www.pexels.com/zh-tw/medium/below-the-fold-html/{str_id}'
        print(text_label_url)
        if os.path.isdir(path + str(count)):
            pass
        else:
            os.mkdir(path + str(count))

        document_path = path + str(count)
        pic_path = document_path + '/' + str(count) + '.jpg'  # 这里用了‘/’来构成路径
        pic_path1= document_path + '/' + str(count) + '.txt'  # 这里用了‘/’来构成路径

        txt_res = requests.get(text_label_url, headers={
            'Accept': '*/*',
            'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
            'Referer': 'https://www.pexels.com/zh-tw/photo/10895238/',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36 Edg/99.0.1150.46',
            'Cookie': '_ga=GA1.2.953246023.1646290358; _hjSessionUser_171201=eyJpZCI6ImI4NzRmMjRiLWRlMjQtNWZlMi1hNjRkLWUyMDA2MjRmODFlYiIsImNyZWF0ZWQiOjE2NDYyOTA5MDI2NTcsImV4aXN0aW5nIjp0cnVlfQ==; locale=zh-TW; NEXT_LOCALE=zh-TW; _gid=GA1.2.2081165861.1647910986; _hjDonePolls=789223; ab.storage.sessionId.5791d6db-4410-4ace-8814-12c903a548ba=%7B%22g%22%3A%22bebb80c0-1ee3-1ccf-c271-6ac41bcceb8e%22%2C%22e%22%3A1647930602774%2C%22c%22%3A1647928802775%2C%22l%22%3A1647928802775%7D; ab.storage.deviceId.5791d6db-4410-4ace-8814-12c903a548ba=%7B%22g%22%3A%22b43b9c98-d28a-dfdb-1c65-c0f58a7b3689%22%2C%22c%22%3A1646290357434%2C%22l%22%3A1647928802776%7D; __cf_bm=yrbilVkKGf38kUC_5_2l6Ag44u66f.1cokHQBcZVrjY-1647928814-0-ATkWmZ0XheVsSf/yAg/ExhtPd326lbv/bitMIprXmNYNZeRBtiYo8VPCiW3Hrm9fnTknvr47y6cXCRw9wTNabQ7xw6y4vP4Z/c4Ur/8NzxbcIcCS1FoLW3Xw2wqaxYQa8LEINWBcno32yCSWK9h6RZqCcFq3dAkeAMoIo1poSFTZ; _gat=1'
        }, proxies={'http': 'http://127.0.0.1:18888', 'https': 'http://127.0.0.1:18888'}, verify=False)

        soup = BeautifulSoup(txt_res.content, 'html.parser')
        body = soup.find('ul', attrs={'class': 'photo-page__related-tags__container'})
        flag = 1
        if body is None:
            flag = 0
        if flag == 1:
            fp = open(pic_path1, 'w')  # 写入图片的话是要用二进制形式写入
            for li in body.find_all('a', attrs={'class': 'rd__tag'}):
                fp.write(li.text)
                fp.write('\n')
            fp.close()

        byte = requests.get(dwonload_url, headers={
            'Accept': 'text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01',
            'Accept-Language': 'zh-CN,zh;q=0.9',
            'Referer': 'https://www.pexels.com/zh-tw/',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36 Edg/99.0.1150.39',
            'Cookie': '_ga=GA1.2.953246023.1646290358; _hjSessionUser_171201=eyJpZCI6ImI4NzRmMjRiLWRlMjQtNWZlMi1hNjRkLWUyMDA2MjRmODFlYiIsImNyZWF0ZWQiOjE2NDYyOTA5MDI2NTcsImV4aXN0aW5nIjp0cnVlfQ==; locale=zh-TW; NEXT_LOCALE=zh-TW; _gid=GA1.2.572006961.1647307445; ab.storage.sessionId.5791d6db-4410-4ace-8814-12c903a548ba=%7B%22g%22%3A%223c77dd5a-d80d-5514-6e89-a515667aaba1%22%2C%22e%22%3A1647336874054%2C%22c%22%3A1647335074055%2C%22l%22%3A1647335074055%7D; ab.storage.deviceId.5791d6db-4410-4ace-8814-12c903a548ba=%7B%22g%22%3A%22b43b9c98-d28a-dfdb-1c65-c0f58a7b3689%22%2C%22c%22%3A1646290357434%2C%22l%22%3A1647335074056%7D; _gat=1; __cf_bm=MtqVbgDKWWQPM0LD5MJ2yjHVLCK1HddcW169X4OgWPQ-1647335087-0-AZcu7uQ0AlxdR8R5ANaYX7c9fCDbKBKL4XGoxTSgYCC0zon2SKUWtTvwSNBk4TyzHLrRW0TFq2RYZY42JOW2sbMjYFx3eMvD2mZc4zNwlDH9HAaGN9/HdaiOuvGR0+ClhwtVkqHRgkLtH4jt2DpznUh7yzGGojmH8CG5MBNuWrny'
            }, proxies={'http': 'http://127.0.0.1:18888', 'https': 'http://127.0.0.1:18888'}, verify=False).content
        fp = open(pic_path, 'wb')  # 写入图片的话是要用二进制形式写入
        fp.write(byte)
        fp.close()
        count += 1
        print(count)

    # 获取下一页
    next = re.findall(r"seed=.+?\\", text)[0]  # 实现的难点
    while len(next) == 0:
        print('总数为：', count)
        exit()

    next = next.strip('\\')  # 去除转义符号
    page_next = next[5:]
    page_next = str(page_next)
    print(page_next)
    dwonload_img(page_next)


if __name__ == "__main__":
    page = '2022-03-21%2012%3A18%3A51%20UTC'
    count = 0
    dwonload_img(page)

网站为：免費圖庫相片 · Pexels

其中爬的链接是从fiddlers中查看到的

其中发现有图片没有标签

 图1（网页中看不到标签）

    图2（没有标签的）

 图3（有标签的源码）

因此使用flag，来使得代码只获取有标签的，不出现找不到ul的情况

body = soup.find('ul', attrs={'class': 'photo-page__related-tags__container'})
        flag = 1
        if body is None:
            flag = 0
        if flag == 1:
            fp = open(pic_path1, 'w')  # 写入图片的话是要用二进制形式写入
            for li in body.find_all('a', attrs={'class': 'rd__tag'}):
                fp.write(li.text)
                fp.write('\n')
            fp.close()

eye123456789
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
一图带你了解爬虫 简单爬虫，爬取各种图片，CNN的天堂，附带代码
Cchaofan的博客
12-24 2039
一图带你了解爬虫 简单爬虫，爬取各种图片，CNN的天堂，附带代码
网络图片爬虫(几个简单步骤实现网页图片的爬取，详细步骤，超详细，简单易懂)
热门推荐
张茂洋的博客
03-02 2万+
网络图片爬取 前提准备 安装好开发库：Beautifulsoup4和requests，这两个库主要用于python爬虫，简单安装过程点这里开发库安装 主要分为以下几个部分： 1. 分析网页，查看索要爬取网页的源代码(按F12或者CTRL+SHIFT+C)，选中你想要爬取的图片中的任意一个，下面以 爱奇艺的首页为例，注意下图： 可以看到图片标签，标识属性class，图片的url属性src（这三个接下来会用到） 2. 读取网页的内容 代码如下： #导入两个开发库 import urllib.request
突破神奇的Cloudflare防火墙
老男孩的架构路
07-27 2022
于是请求的时候把浏览器的UA给带上，然后访问发现还是403，不过这也难不倒我，肯定是还有校验其它的请求头，直接浏览器打开network，把所有的请求头复制过来并且带上，确保我和浏览器在http协议层面的请求完全一样，这样不可能会失败了吧，然而运行完发现还是403。服务端校验客户端没有什么黑魔法，因为都是通过TCP协议通讯，不可能存在浏览器发送一个HTTP报文和我发送一个同样的HTTP报文服务器能识别出来，既然不是校验的HTTP层，那只可能是在TLS层校验的，于是祭出。...
Request Headers 和Response Headers——请求头和响应头
zyz00000000的博客
11-25 1万+
前沿 作为一个前端开发工程师看不懂每条请求的请求头和响应头，实在是一件很难受的事情。最近花了一些时间整理了一篇文档，一起来看看前后端交互时每个资源的信息。 谷歌浏览器调试工具——查看请求资源的信息数据 通过谷歌浏览器的调试工具，我们可以看到请求资源的以下信息： 下面来具体聊聊每个信息代表了什么，有什么作用。 根据上面的那条请求，分析里面一些重要的属性。我访问的是思否上的文章：比如：https://segmentfault.com/a/1190000017787636 一、General 综合
爬虫案例：手把手教你爬取图片
一行玩python
11-05 9677
大家好，我是一行今天是小白菜同学的投稿，老规矩一个赞10积分一、确认目标和思路：写在最前面：程序很简单，重要的是思路以及对错误的分析1.确认目标和大体思路： 今天我们需要爬取的网站是：h...
多线程爬取图片
12-21
在Python编程中，多线程爬取图片是一种提高网络爬虫效率的方法，特别是在处理大量图片资源时。这个程序示例展示了如何使用Python的requests库抓取网页内容，lxml库解析HTML，以及queue和threading库来实现多线程下载...
python多线程爬取图片（自动记录爬取页数，防止断网断电）
03-23
本教程将详细讲解如何使用Python的多线程来爬取图片，并实现自动记录爬取页数，以防止因网络问题或意外中断导致的重复工作。 首先，我们需要导入必要的库。`requests`库用于发送HTTP请求，获取网页内容；`lxml`库则...
Python复健练习：多线程图片爬取（豆瓣）
12-21
[爬取豆瓣坂本龙一 Ryuichi Sakamoto图片] 成果： （多线程访问速度过快导致极少部分无法下载，需要完全下载可time.sleep()） [下方附代码与部分知识点解析] [代码链接：https://paste.ubuntu.com/p/TYhCK4vnbB/] ...
爬虫分享(一)：单线程爬取妹子图
12-22
爬虫分享(一)：单线程爬取妹子图 1. 解析网页 ​ url = ‘https://www.27bao.com/’ ​ 首先分析网页结构 ​ 通过分析网页源代码可以发现动图的真实地址全都在img标签下的src属性里，我们要做的工作就是提取这些...
多线程爬取高清图1.0（包含单线程）
07-12
本项目“多线程爬取高清图1.0”提供了一个实例，包括单线程和多线程两种模式，为Python爬虫的学习者提供了宝贵的实践资源。 首先，我们要理解什么是Python爬虫。Python爬虫是一种自动化程序，用于从互联网上抓取...
python爬取图片链接标签的src属性值_python爬取图片遇见src乱码： data:image/png;base64...
weixin_39834780的博客
02-21 2273
python爬取图片遇见src乱码： data:image/png;base64向爬取自己喜欢的图片，但是在爬取下来的代码当中图片的src会出现乱码的情况：data:image/png;base64。搞了我好长时间，试过伪装headers，也试过通过修改网页js的内容来让img的src显示出来，也试过修改div的display属性，但是全部都没用，最后了解了才知道，这是Data URI schem...
超级简单，四步带你入门爬虫，爬取图片
guguo666的博客
04-30 1万+
四步带你入门爬虫，爬取图片 本人还是学生，python小白。其实很多基础还不牢固，但是对爬虫比较有兴趣，在这里也希望能帮助大家入门爬虫,毕竟还是比较有趣。需要一些html基础，不过这个html也很简单。 完整代码块 import requests from lxml import etree import os if __name__ == '__main__': url = 'https://pic.netbian.com/4kdongman/' #爬取到页面源码数据 header
python爬虫获取steam验证码
weixin_41396062的博客
05-04 3846
在尝试着写一个自动注册steam账号的程序，注册的时候需要验证码， 用pytesseract试着对steam验证码进行识别，但是结果很不理想，几乎没有正确的 得到的验证码结果，下一步尝试着训练个模型来识别验证码 import requests import time import json login_url ='https://store.steampowered.com/login' ...
cv2读取和保存图片
m0_53291740的博客
07-12 269
cv2.imwrite('b\\img1.png',img)#b存在就可以保存进去。如果b存在，c不存在，程序不会报错，也不会保存图片。如果目录b不存在就会存到当前文件夹。
《JavaSE》---6.＜基础语法（Java三大程序控制结构）＞
m0_73456341的博客
07-14 787
本篇博客主要讲解Java基础语法中的三大结构，一种顺序结构、两大分支结构i（if-else、swich-case）、四大循环结构（while、do while、fot、foreach）
华为od机试真题 — 代表团坐车(Python)
最新发布
学习,你不是一个人在战斗 ～ 961302305（QQ,微信）
07-17 527
【华为od机试真题 】代表团坐车(Python) 某组织举行会议，来了多个代表团同时到达，接待处只有一辆汽车可以同时接待多个代表团，为了提高车辆利用率，请帮接待员计算可以坐满车的接待方案输出方案数量。
IPython 日志秘籍：%logstate 命令全解析
2401_85812026的博客
07-17 490
logstate命令是 IPython 日志系统的重要组成部分，它帮助我们掌控日志记录的状态。通过本文的介绍，你应该对如何在 IPython 中使用%logstate查看日志状态有了更深入的理解。记住，合理利用日志系统，可以让你的数据探索过程更加透明和可追溯。本文详细介绍了 IPython 的%logstate命令，包括其基本概念、基本用法、输出解析以及实战示例。希望本文能够帮助读者更好地利用 IPython 的日志系统，优化数据探索和科学计算的工作流。记住，掌握%logstate。
python单线程和多线程爬取实例
05-12
Python是一种灵活的编程语言，其提供了多种多样的库和框架，以方便用户处理数据和进行网络爬取。在网络爬取方面，Python具有优秀的单线程和多线程爬取能力。 Python单线程爬取实例： 当我们需要爬取一个简单的网站时，单线程爬取可能是最简单和最有效的方法。例如，我们可以编写一个程序来爬取一个网站的所有页面，并将它们保存到本地文件夹中。这个程序可能像这样： ```Python import requests from bs4 import BeautifulSoup def getUrls(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') urls = [] for link in soup.find_all('a'): urls.append(link.get('href')) return urls def download(urls): for url in urls: response = requests.get(url) filename = url.split('/')[-1] with open(filename, 'wb') as f: f.write(response.content) if __name__ == '__main__': urls = getUrls('http://example.com') download(urls) ``` 在这个例子中，我们使用requests和BeautifulSoup库来获取和解析HTML页面，然后使用循环和文件I/O来保存页面内容。 Python多线程爬取实例： 当我们需要爬取大量页面时，单线程爬取可能会非常缓慢，因此我们可以使用多线程爬取来提高效率。例如，我们可以使用Python的多线程库threading来实现多线程爬取。下面是代码示例： ```Python import requests from bs4 import BeautifulSoup import threading def getUrls(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') urls = [] for link in soup.find_all('a'): urls.append(link.get('href')) return urls def download(url): response = requests.get(url) filename = url.split('/')[-1] with open(filename, 'wb') as f: f.write(response.content) class CrawlerThread(threading.Thread): def __init__(self, url): threading.Thread.__init__(self) self.url = url def run(self): download(self.url) if __name__ == '__main__': urls = getUrls('http://example.com') threads = [] for url in urls: t = CrawlerThread(url) threads.append(t) t.start() for t in threads: t.join() ``` 在这个例子中，我们使用多线程CrawlerThread类来下载每个页面。我们创建一个CrawlerThread列表，然后将列表中的每个元素作为参数传递给download函数，以便每个线程都可以执行下载任务。最后，我们使用join方法等待所有线程完成。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值