Python3网络爬虫：requests爬取动态网页内容

最新推荐文章于 2023-08-13 00:19:26 发布
最新推荐文章于 2023-08-13 00:19:26 发布
阅读量4.2w 收藏 60
点赞数 9
分类专栏： python python3 文章标签： python 网络爬虫 mac
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24076135/article/details/78077659
版权

本文为学习笔记
学习博主:http://blog.csdn.net/c406495762

Python版本：python3.+
运行环境：OSX
IDE：pycharm

一、工具准备

抓包工具：在OSX下,我使用的是Charles4.0

代理工具:chrome插件 SwitchOmega
- 由于Charles的工作原理是以自身作为代理,让比如chrome浏览器通过该代理来进行收发数据,以此达到抓包的目的。我们可以通过chrome设置来代理，但是chrome插件 SwitchOmega能够让我们方便地自由切换代理，以此达到高效，快捷的生活。(笑)

SwitchOmega使用方法

  1. 安装完插件,如图,点击选项
    这里写图片描述
  2. 点击新建情景模式
    这里写图片描述
  3. 自定义一个名字,选择代理服务器,点击创建
    这里写图片描述
  4. 代理协议填http,代理服务器填127.0.0.1,代理端口填8888,点击应用选项,会提示保存成功
    这里写图片描述
  5. 退出到首页,在目标网页(https://unsplash.com/)下,如图,可以通过选择我们设置好的charles来设置全局代理(所有网站的数据请求都通过代理)
    这里写图片描述
  6. 也可以通过仅为该网站设置代理

    这里写图片描述

二、知识储备

requests.get()：requests官方文档
  在这里，request.get()中我是用到了  verify=False,stream=True这两个额外参数
  verify = False能越过网站的SSL验证
  stream=True保持流的开启,直到流的关闭。在下载图片过程中，能让图片在完全下载下来之前保持数据流不关闭,以保障图片下载的完全性。如果去掉该参数再下载图片,则会发现图片无法下载成功。
contextlib.closing()：contextlib库下的closing方法，功能是将对象变成上下文对象,以此来支持with。
  使用过 with open() 就知道 with的好处是能帮我们自动关闭资源对象，以此来简化代码。而实际上，任何对象，只要正确实现了上下文管理，就可以用于with语句。这里还有一篇关于with语句与上下文管理器

三、思路整理

这次抓取的动态网页是个壁纸网站,上面有精美的壁纸,我们的目的就是通过爬虫,把该网站上的壁纸原图下载到本地

网站url:https://unsplash.com/

已知该网站是动态网站,那就需要通过抓取网站的js包来分析,它是如何获得数据的。

  1. 通过Charles来获取打开网站时的请求
  2. 从中查找到有用的json
  3. 从json中的数据,比较下载链接的url,发现,下载链接变化部分就是图片的id
  4. 从json中爬出图片id，在下载链接上填充id部分,执行下载操作

四、具体步骤

  1. 通过Charles来获取打开网站时的请求,如图
    这里写图片描述
    从图中不难发现在headers中有一个authorization Client-ID的参数,这需要记下来，加在我们自己的请求头中。(由于是学习笔记的原因,该参数已知为反爬虫所需要的参数，具体检测反爬的操作,估计可以自己添加参数一个一个尝试)
  2. 从中查找到有用的json
    在这里写图片描述
    在这里我们就发现了存有图片ID
  3. 在网页上点击下载图片,,从抓包中抓取下载链接，发现下载链接变化部分就是图片的id
    这里写图片描述
    这样，就能确定爬取图片的具体步骤了。
  4. 从json中爬出图片id，在下载链接上填充id部分,执行下载操作
  5. 分析完之后,总结一下代码步骤
    • 爬取包中的图片id,保存到list中
    • 依次按照图片id，进行图片的下载

五、代码整理

代码步骤
1. 爬取图片id,保存到list中去

# -*- coding:utf-8 -*-
import requests,json

def get_ids():
    # target_url = 'http://unsplash.com/napi/feeds/home'
    id_url = 'http://unsplash.com/napi/feeds/home'
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) '
                      'AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/61.0.3163.79 Safari/537.36',
        'authorization': '*************'#此部分参数通过抓包获取

    }
    id_lists = []
    # SSLerror 通过添加 verify=False来解决
    try:
        response = requests.get(id_url, headers=header, verify=False, timeout=30)
        response.encoding = 'utf-8'
        print(response.text)

        dic = json.loads(response.text)
        # print(dic)
        print(type(dic))
        print("next_page:{}".format(dic['next_page']))
        for each in dic['photos']:
            # print("图片ID:{}".format(each['id']))
            id_lists.append(each['id'])
        print("图片id读取完成")
        return id_lists
    except:
        print("图片id读取发生异常")
        return False
if __name__=='__main__':
    id_lists = get_ids()
    if not id_lists is False:
        for id in id_lists:
            print(id)

结果如图所示，图片ID已经成功打印出来了
这里写图片描述

  1. 依据图片id,进行图片的下载
import os
from contextlib import closing
import requests
from datetime import datetime

def download(img_id):
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) '
                      'AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/61.0.3163.79 Safari/537.36',
        'authorization': '***********'#此参数需从包中获取
    }
    file_path = 'images'
    download_url = 'https://unsplash.com/photos/{}/download?force=true'
    download_url = download_url.format(img_id)
    if file_path not in os.listdir():
        os.makedirs('images')
    # 2种下载方法
    # 方法1
    # urlretrieve(download_url,filename='images/'+img_id)
    # 方法2 requests文档推荐方法
    # response = requests.get(download_url, headers=self.header,verify=False, stream=True)
    # response.encoding=response.apparent_encoding
    chunk_size = 1024
    with closing(requests.get(download_url, headers=header, verify=False, stream=True)) as response:
        file = '{}/{}.jpg'.format(file_path, img_id)
        if os.path.exists(file):
            print("图片{}.jpg已存在,跳过本次下载".format(img_id))
        else:
            try:
                start_time = datetime.now()
                with open(file, 'ab+') as f:
                    for chunk in response.iter_content(chunk_size=chunk_size):
                        f.write(chunk)
                        f.flush()
                end_time = datetime.now()
                sec = (end_time - start_time).seconds
                print("下载图片{}完成,耗时:{}s".format(img_id, sec))
            except:
                if os.path.exists(file):
                    os.remove(file)
                print("下载图片{}失败".format(img_id))
if __name__=='__main__':
    img_id = 'vgpHniLr9Uw'
    download(img_id)

运行结果:
这里写图片描述
下载前
这里写图片描述
下载后
这里写图片描述

合并代码，进行批量下载

# -*- coding:utf-8 -*-
import requests,json
from urllib.request import urlretrieve
import os
from datetime import datetime
from contextlib import closing
import time
class UnsplashSpider:
    def __init__(self):
        self.id_url = 'http://unsplash.com/napi/feeds/home'
        self.header = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) '
                          'AppleWebKit/537.36 (KHTML, like Gecko) '
                          'Chrome/61.0.3163.79 Safari/537.36',
            'authorization': '***********'#此部分需要自行添加
        }
        self.id_lists = []
        self.download_url='https://unsplash.com/photos/{}/download?force=true'
        print("init")
    def get_ids(self):
        # target_url = 'http://unsplash.com/napi/feeds/home'
        # target_url = 'https://unsplash.com/'

        #SSLerror 通过添加 verify=False来解决
        try:
            response = requests.get(self.id_url,headers=self.header,verify=False, timeout=30)
            response.encoding = 'utf-8'
            # print(response.text)

            dic = json.loads(response.text)
            # print(dic)
            print(type(dic))
            print("next_page:{}".format(dic['next_page']))
            for each in dic['photos']:
                # print("图片ID:{}".format(each['id']))
                self.id_lists.append(each['id'])
            print("图片id读取完成")
            return self.id_lists
        except:
            print("图片id读取发生异常")
            return False
    def download(self,img_id):
        file_path = 'images'
        download_url = self.download_url.format(img_id)
        if file_path not in os.listdir():
            os.makedirs('images')
        # 2种下载方法
        # 方法1
        # urlretrieve(download_url,filename='images/'+img_id)
        # 方法2 requests文档推荐方法
        # response = requests.get(download_url, headers=self.header,verify=False, stream=True)
        # response.encoding=response.apparent_encoding
        chunk_size=1024
        with closing(requests.get(download_url, headers=self.header,verify=False, stream=True)) as response:
            file = '{}/{}.jpg'.format(file_path,img_id)
            if os.path.exists(file):
                print("图片{}.jpg已存在,跳过本次下载".format(img_id))
            else:
                try:
                    start_time = datetime.now()
                    with open(file,'ab+') as f:
                        for chunk in response.iter_content(chunk_size = chunk_size):
                            f.write(chunk)
                            f.flush()
                    end_time = datetime.now()
                    sec = (end_time - start_time).seconds
                    print("下载图片{}完成,耗时:{}s".format(img_id,sec))
                except:
                    print("下载图片{}失败".format(img_id))



if __name__=='__main__':
    us = UnsplashSpider()
    id_lists = us.get_ids()
    if not id_lists is False:
        for id in id_lists:
            us.download(id)
            #合理的延时,以尊敬网站
            time.sleep(1)

六、结语

因为本文是学习笔记,中间省略了一些细节。

结合其他资料一起学习，发现爬取动态网站的关键点是抓包分析。只要能从包中分析出关键的数据，剩下写爬虫的步骤就和写静态网页的爬虫一般无二了。

Xiao布_unknown
关注
  • 9
    点赞
  • 踩
  • 60
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
使用urllib,request爬取ajax动态页面信息（爬取响应json文件）
06-13
使用urllib,request爬取ajax动态页面信息（爬取响应json文件） 有详细的分析步骤，由于发布不了博客，只能上传资源发布。
Flask源码篇：彻底吃透Flask上下文原理
qq_43745578的博客
03-16 955
Flask源码篇：Flask上下文原理
Python爬虫之动态网页抓取（万科更新时间）
bring_coco的博客
04-28 8579
爬取的页面分为静态页面和动态页面，静态的页面爬取很常见，就如豆瓣top250的爬取，展示的内容都在HTML源代码中。而动态页面，很多内容不会出现在HTML源代码中，例如使用JavaScript时，很可能出现这种情况。豆瓣Top250页面标题https://movie.douban.com/top250?F12—>检查（选择触不可及），可以看到源码定位到触不可及标题这里。在右键打开源码。
爬虫系列4：Requests+Xpath 爬取动态数据
weixin_30797027的博客
01-15 564
爬虫系列4：Requests+Xpath 爬取动态数据 【抓取】：参考前文 爬虫系列1：https://www.cnblogs.com/yizhiamumu/p/9451093.html 【分页】：参考前文 爬虫系列2：https://www.cnblogs.com/yizhiamumu/p/10267721.html 【保存】：参考前文 爬虫系列3：https://w...
动态网页Reptile
十八岁讨厌编程的博客
05-08 1034
文章目录引入Network什么是 XHR什么是 JSON如何让解析JSON获取多页数据静态、动态网页爬虫总结 引入 我们在使用静态网页爬取方法的时候可能会发生一个问题，有些数据在网页开发者工具中(F12)中存在，而在网页源代码中却没有。 这是因为，例如像电影评论这样的信息是瞬息万变的，可能短短数小时内就多出几百、上千条。如果将每条评论的数据，都通过 HTML 代码的形式写进网页中，那么评论每发生一次变化，就要相应地改变代码，非常繁琐。 那这种实时改变的数据是怎样展现到我们面前的呢？ 网页可以通过 API 获
【Python爬虫实战】Python实现动态网页爬虫（requests模块）
m0_59162248的博客
02-11 6214
前言 Python爬虫实战，requests模块，Python实现动态网页爬虫 让我们愉快地开始吧~ 开发工具 Python版本： 3.6.4 相关模块： urllib模块； random模块； requests模块； traceback模块； 以及一些Python自带的模块。 环境搭建 安装Python并添加到环境变量，pip安装需要的相关模块即可。 那我们就开启爬虫的正确姿势吧，先用解析接口的方法来写爬虫。 首先，找到真实请求。右键检查，点击Network，选中XHR，刷新网页，选择Name列表中的js
【Python_requests学习笔记（七）】基于requests模块 实现动态加载数据的爬取
禾戊之昂的博客
03-23 1800
此篇文章中介绍基于requests模块 实现动态加载数据的爬取，并以抓取Cocos中文社区中：热门主题下的帖子名称及id数据为例进行讲解。
python爬虫运行正常最后报错_python爬虫优化和错误日志分析
weixin_39917576的博客
12-06 292
发现问题在爬虫下载过程中，执行一段时间后都会异常终止，下次必须kill掉进程重新运行 ，看能否优化并减少手动操作错误日志分析收集了nohup.out文件，发现主要错误是的数组下标越界，推测可能的问题为：1)网络不稳定，http请求不通。2)网络请求成功，但是html表单解析失败。3)登录的cookie过期优化思路在所有有网络请求的地方，都加上了返回码是不是200的判断，然后html表单解析的地方加...
some code
weixin_30376083的博客
09-27 156
找题目： # -* coding:utf-8 *- import urllib.request import re import os your_id = 0 his_id = 0 def input_ids(): y_id = str(input("请输入你的id>>")) h_id = str(input("请输入Ta...
YOLOV2 _keras代码详解
qq_35732321的博客
08-26 823
YOLOv2代码详解
python 爬虫项目实战：批量爬取B站小视频 源码
最新发布
04-30
本实战案例涉及使用Python编写一个爬虫程序，用于批量爬取B站（哔哩哔哩）上的小视频。这个案例将使用到requests库来发送HTTP请求，以及BeautifulSoup库来解析网页内容。 适用人群 Python开发者：希望提高网络爬虫...
python图像爬虫代码：用于爬取网站上的图片和视频资源.txt
08-19
在这个函数中，我们使用了requests库的get方法来发送HTTP请求，并设置了response的编码为网页的实际编码。如果请求成功，我们将返回response的文本内容；如果请求失败，我们将打印错误信息。 2. 然后，我们定义了一...
python网络爬虫（批量爬取网页图片）
12-23
python网络爬虫（批量爬取网页图片），主要使用requests库和BeautifulSoup库，没有的请先去安装。 接下来我会完整地分析整个爬取的过程，本次以http://www.netbian.com/该网站为例，网站页面如下： 首先我们分析...
Python网络爬虫数据采集实战：Requests和Re库
12-22
​ 熟悉爬虫的基本概念之后，我们可以直接开始爬虫实战的学习，先从Python的requests库即re库入手，可以迅速“get”到python爬虫的思想以及流程，并且通过这两个库就可以建立一个完整的爬虫系统。 目录 一、...
【python网络爬虫】-爬取小说
11-02
python爬取小说 # 爬虫下载一本小说 import time import requests import os from bs4 import BeautifulSoup # 从bs4库中导入BeautifulSoup import random # 导入随机数模块,用于随机生成休眠时间,防止被封IP（这个...
Faker库详解 - Python中的随机数据生成器
小白典的博客
08-13 2877
在软件测试过程中，我们经常需要使用一些测试数据，通常都是只能使用已有的系统数据，但可能会因权限或其它原因不可使用，又或者手工编造一些数据，但数据量较大时影响测试效率，Faker就解决这个问题，Faker是python的一个第三方库，主要是用来创造伪数据的，只需要调用Faker提供的相关api即可完成数据的生成。
简单使用requests爬取动态数据
Oopsl的博客
09-18 3497
异常的访问请求： 当我们爬取网页的时候，网站后台检测出该请求不是通过浏览器发起的，而是通过爬虫程序发起的。 网站后台通过请求中的User-Agent判定 User-Agent:请求载体的身份标识 什么是请求载体？浏览器，爬虫程序 这里的反爬机制：UA检测 反反爬机制：UA伪装 动态数据的捕获 通过requests模块进行数据抓取无法每次都实现可见即可得 有些数据不是通过浏览器地址栏中的url请求到的数据，而是其他请求请求到的数据。这些通过其他请求请求到的数据就是动态加载的数据 检测网页中是否存在动态加载数据
Python爬虫 | 碰到动态页面如何爬取？处理思路分享
WANGJUNAIJIAO的博客
12-31 3995
说到爬网页，我们一般的操作是先查看源代码或者审查元素，找到信息所在节点，然后用 beautifulsoup/xpth/re 来获取数据，这是我们对付静态网页的常用手段。先来梳理一下爬取的流程：1、先引入需要的包，可以边写边引入，用到哪个包就引入哪个包 from xxx import xxx2、按F12，选择network选项，找到type为document或js或XHR的页面，把header内容取出来。3、把url也取出来，等待解析 url = xxx。
Python网络爬虫使用BeautifulSoup爬取网页的内容
03-25
回答：Python网络爬虫使用BeautifulSoup可以很方便地解析HTML或XML等结构化数据，从而获取所需的信息。可以使用requests库发送请求，然后使用BeautifulSoup库解析网页内容，通过选择器或标签找到所需内容并提取。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值