爬虫入门_5：requests模块高级使用及案例实战

已于 2022-02-19 15:05:02 修改
阅读量224 收藏 1
点赞数
分类专栏： 爬虫相关 python 文章标签： 爬虫 python
于 2022-02-18 06:32:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Amy9_Miss/article/details/122995365
版权

模拟登录

模拟登录：爬取基于某些用户的用户信息。

cookie

cookie：用来让服务器端记录客户端的相关状态。

  • 手动处理：通过抓包工具获取cookie值，将该值封装到headers中（不建议）

  • 自动处理：

    • cookie值的来源在哪里？

      • 模拟登录post请求后，由服务器端创建

    • session会话对象：

      • 作用：可以进行请求的发送

        如果请求过程中产生了cookie，则该cookie会被自动存储/携带在该session对象中

    • 创建一个session对象：session=requests.Session()

    • 使用session对象进行模拟登录post请求的发送（cookie就会被存储在session对象中）

    • session对象对个人主页对应的get请求进行发送（携带了cookie）

实战

需求1：对古诗文网进行模拟登录
流程：

  • 点击登录按钮之后会发起一个post请求

  • post请求中会携带登录之前录入的相关登录信息（用户名，密码，验证码…）

  • 验证码：每次请求都会变化

代码

编码流程：

  1. 验证码的识别，获取验证码图片的文字数据
  2. 对post请求进行发送(处理请求参数)
  3. 对响应数据进行持久化存储

以下是代码的实现，其中验证码识别代码（VerificationCode），点这里

import requests
from lxml import etree
from VerificationCode import VerificationCode


def getCodeText(imgPath):
    """
    封装识别验证码图片的函数
    :param imgPath:验证码图片路径
    :return: 返回识别的验证码文本
    """
    a = VerificationCode(imgPath)
    result = a.image_str()
    return result

if __name__ == '__main__':
    # UA伪装,相关的头信息封装在字典结构中
    headers = {
        "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36'
    }
    # 创建一个session对象，该对象会自动将请求中的cookie进行存储和携带
    session = requests.session()
    # 对验证码图片进行捕获和识别
    url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'
    response = session.get(url=url,headers=headers)
    response.encoding = 'utf-8'  # 将编码设置为‘utf-8'，不然会出现乱码
    page_text = response.text
    tree = etree.HTML(page_text)
    # 保存html
    with open('./result/gushiwen.html','w',encoding='utf-8') as fp:
        fp.write(page_text)
    # 判断是否为验证码的页面，如果是，进行验证码识别、模拟登录
    title = tree.xpath('//*[@id="aspnetForm"]/div[4]/div[4]/span/text()')
    print(title)
    if '验证码' in title:
        print("登录存在验证码，需要进行验证码识别！！")
        code_img_src = tree.xpath('//*[@id="imgCode"]/@src')[0]
        code_img_url = 'https://so.gushiwen.cn/' + code_img_src
        print(code_img_url)

        code_img_data = session.get(url=code_img_url, headers=headers).content
        with open('./result/code_gsw.jpg','wb') as fp:
            fp.write(code_img_data)
        print("图片保存成功！！")

        # 调用OCR图片识别代码进行验证码图片数据识别，识别率不太高
        print("图片识别中....")
        code_text = getCodeText('./result/code_gsw.jpg')

        if code_text == '' or code_text == None:
            print("未识别成功！！！")
        else:
            print("识别结果为：", code_text)

            # post请求的发送（模拟登录）
            login_url = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'
            data = {
                '__VIEWSTATE': 'J4lKFTZmKFCNCqJLPTrKQ/7J32z28jdpXU8l41kXfvKh60kKv5eXR9PdfNwW06f2mPSDL61OATQFdEPf+8JbjiVsqiHnrBSw7mA38Rn+n+r73+7pYhtlKr7i6UU=',
                '__VIEWSTATEGENERATOR': 'C93BE1AE',
                'from': 'http://so.gushiwen.cn/user/collect.aspx',
                'email': '用户名',
                'pwd': '密码',
                'code': code_text,
                'denglu': '登录'
            }
            response = session.post(url=login_url, headers=headers, data=data)

            # 判断是否登录成功
            if response.status_code == 200:
                print("模拟登录成功！！！")
            else:
                print("模拟登录失败！！！")

运行代码后，结果如下：
在这里插入图片描述

需求2：爬取古诗文网当前用户的我的背诵页数据
  • http/https协议特性：无状态
  • 没有请求到对应页面数据的原因：发起的第二次基于个人主页页面请求的时候，服务器端并不知道该次请求是基于登录状态下的请求
代码
import requests
from lxml import etree
from VerificationCode import VerificationCode

def getCodeText(imgPath):
    """
    封装识别验证码图片的函数
    :param imgPath:验证码图片路径
    :return: 返回识别的验证码文本
    """
    a = VerificationCode(imgPath)
    result = a.image_str()
    return result


if __name__ == '__main__':
    # UA伪装,相关的头信息封装在字典结构中
    headers = {
        "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36'
    }
    # 创建一个session对象，该对象会自动将请求中的cookie进行存储和携带
    session = requests.session()
    # 对验证码图片进行捕获和识别
    url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'
    response = session.get(url=url, headers=headers)
    response.encoding = 'utf-8'  # 将编码设置为‘utf-8'，不然会出现乱码
    page_text = response.text
    tree = etree.HTML(page_text)
    # 保存html
    with open('./result/gushiwen.html', 'w', encoding='utf-8') as fp:
        fp.write(page_text)
    # 判断是否为验证码的页面，如果是，进行验证码识别、模拟登录
    title = tree.xpath('//*[@id="aspnetForm"]/div[4]/div[4]/span/text()')

    if '验证码' in title:
        print("登录存在验证码，需要进行验证码识别！！")
        code_img_src = tree.xpath('//*[@id="imgCode"]/@src')[0]
        code_img_url = 'https://so.gushiwen.cn/' + code_img_src
        print("验证码的url地址： ",code_img_url)

        code_img_data = session.get(url=code_img_url, headers=headers).content
        with open('./result/code_gsw.jpg', 'wb') as fp:
            fp.write(code_img_data)
        print("图片保存成功！！")

        # 调用OCR图片识别代码进行验证码图片数据识别，识别率不太高
        print("图片识别中....")
        code_text = getCodeText('./result/code_gsw.jpg')

        if code_text == '' or code_text == None:
            print("未识别成功！！！")
        else:
            print("识别结果为：", code_text)

            # post请求的发送（模拟登录）
            login_url = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'
            data = {
                '__VIEWSTATE': 'J4lKFTZmKFCNCqJLPTrKQ/7J32z28jdpXU8l41kXfvKh60kKv5eXR9PdfNwW06f2mPSDL61OATQFdEPf+8JbjiVsqiHnrBSw7mA38Rn+n+r73+7pYhtlKr7i6UU=',
                '__VIEWSTATEGENERATOR': 'C93BE1AE',
                'from': 'http://so.gushiwen.cn/user/collect.aspx',
                'email': '用户名称',
                'pwd': '密码',
                'code': code_text,
                'denglu': '登录'
            }
            # 使用session进行post请求的发送
            response = session.post(url=login_url, headers=headers, data=data)

            # 判断是否登录成功
            if response.status_code == 200:
                print("模拟登录成功！！！")
            else:
                print("模拟登录失败！！！")

            login_page_text = response.text
            # 持久化存储
            with open('./result/gushiwen.html', 'w', encoding='utf-8') as fp:
                fp.write(login_page_text)

            # 爬取当前用户的个人主页对应的页面数据
            detail_url = 'https://so.gushiwen.cn/user/collectbei.aspx?sort=t'

            # 使用携带cookie的session进行get请求的发送
            detail_page_text = session.get(url=detail_url, headers=headers).text
            with open('./result/user_page.html', 'w', encoding='utf-8') as fp:
                fp.write(detail_page_text)

运行结果如下：

在这里插入图片描述

代理

具体实战代码地址，点这里

如果本文对你有帮助，记得“点赞、收藏”哦~

爬虫requests实战
AkihikoSakura的博客
11-17 303
（1）获取百度网页并打印 #encoding:utf-8 import requests url='http://www.baidu.com' r=requests.get(url) r.encoding=r.apparent_encoding print(r.text) 运行结果： （2）获取图片并下载到本地 比如说我现在想把这张图片下载下来： import requests s='https://new.qq.com/rain/a/SPO2021111700002900' ..
Requests库网络爬虫实战一
sk_berry的博客
07-20 568
Requests库网络爬虫实战实例一：京东商品页面的爬取实例二：亚马逊商品页面的爬取实例三：京东商品页面的爬取 实例一：京东商品页面的爬取   首先打开 京东页面:https://www.jd.com/ 选择一个商品，这个时候就得到了该商品的URL链接，接着按照以下程序进行编程： import requests r = requests.get("https://item.jd.com/2967929.html") print(r.status_code) print(r.encoding)  我们首先
Requests库的爬虫实战
拾贝
05-20 530
首先强调一下网络爬虫的“盗亦有道”，应该遵守Robots协议。 实例一：京东商品的页面的爬取 实例二：亚马逊商品页面的爬取 这里说明一下：最开始亚马逊不允许爬虫访问，然后改了一下user-agent,改为了常规的浏览器形式浏览，具体操作见图。 看到这里有没有发现，其实都是有固定的框架去编写一个爬虫代码。 实例三：百度360搜索关键词提交 360搜索引擎和百度的很相似，所...
Python爬虫核心请求库：Requests实战指南
最新发布
了然的博客
02-23 1076
Requests是Python中最流行的HTTP客户端库，具有以下特点：wp:list人性化的API设计支持HTTP连接保持自动内容解码支持文件上传下载社区活跃，文档完善/wp:list安装它也很简单：wp:code/wp:codewp:headingwp:codeWin64;print(response.json()) # 查看服务器接收到的请求头/wp:code。
爬虫requests实战演练
heart_6662的博客
11-17 1384
目录 1.获取百度网页并打印 2.获取帅哥图片并下载到本地 3.获取美女视频并下载到本地 4.搜狗关键词搜索爬取 5.爬取百度翻译 6.爬取豆瓣电影榜单 7.JK妹子爬取 1.获取百度网页并打印 import requests url="https://www.baidu.com/" #ua伪装 param={ ' User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML...
Requests（Python爬虫快速入门-实战）
weixin_46417042的博客
05-27 220
Requests（Python爬虫快速入门-实战） 1 - Requests（百度新闻爬取-简单爬虫） 标题 百度新闻爬取（适用于无反爬机制的网站） 知识点 1 - requests.get(爬取的url网页网址) [ 返回一个response对象 ] 2 - response.text [ 获取该网页的源代码 ] 示例 #导入requests爬虫库 import requests #目标网址 url = "http://news.baidu.com/guonei" #基础爬取(适用于无反爬机
Python网络爬虫入门指南：基础语法与实战案例
12-04
内容概要：本文档主要介绍了 Python 编程语言的基础语法和网络爬虫的基本概念及实战技巧。涵盖了变量与数据类型、控制结构、函数与模块、异常处理等基础知识。同时，详细讲解了 HTTP 和 HTTPS 协议、URL 解析、网页...
Python爬虫：PyQuery模块详解及实战应用
本文将详细介绍如何使用PyQuery进行爬虫开发，包括模块的介绍、安装方法以及实战案例。 **PyQuery模块简介** PyQuery（简称PQ）是基于jQuery的API风格，为Python提供了类似于HTML选择器的功能，使得在Python中处理...
实习僧数据爬取-爬虫入门实战（完整版）
11-24
在本实践教程中，我们将深入探讨“实习僧数据爬取”的主题，这是一次使用Python进行网络爬虫的入门实战。实习僧是一个知名的求职平台，它提供了大量的实习岗位信息，对于学习如何爬取和分析互联网数据是绝佳的案例。...
Python爬虫入门到精通：第二章详解与实战
9. **爬虫实战** - 提供了实际案例，如爬取豆瓣电影排行榜、天气数据和新闻网站数据，通过实践加深理解。 通过学习本章节，读者将建立起扎实的Python爬虫技术基础，并能够应用所学知识解决实际问题，适应不断变化...
python爬虫入门实战案例教程-入门到精通（收藏版）
07-09
教程中会提供一系列实战案例，从简单的静态网页抓取，到动态加载内容的抓取，再到处理登录和cookie的网站，让你从实践中掌握爬虫技术。 通过以上知识点的学习和实践，你可以从一个Python爬虫新手逐渐成长为精通爬虫...
Requests实战小案例—-豆瓣
12-21
今天我们看一下如何爬取豆瓣的电影信息。 首先我们打开豆瓣电影的网页，这里我随便一个分类。 这里我们看到页面中只有这20个电影，点击加载更多会继续向服务器发送请求然后返回数据。 话不多说，开发者工具看走一走。 这里我们点击“加载更多”会发送这样一个请求。 我们可以从这个请求中发现哪些我们需要的内容呢？ 1.Request Url 2.数据类型 3.传递的参数 ok，需要的东西我们都找到了，接下来就是代码了。 import requests import json url = 'https://movie.douban.com/j/search_subjects?' headers = {
python爬虫学习——requests小实战
qq_50582468的博客
01-08 570
目录 1、实现百度翻译破解 2、爬取豆瓣电影的详情数据 3、爬取肯德基餐厅查询中指定城市的餐厅 1、实现百度翻译破解 根据搜索的百度翻译网页，右键->检查->Network 我们可以了解到请求数据的地址：https://fanyi.baidu.com/sug、请求数据的方式：POST（请求携带参数，参数为kw:dog）、响应数据的类型：json 代码实现 import json import requests if __name__=='__main__': #
【Python爬虫】Requests库网络爬虫实战
点滴记忆
07-05 1261
1.京东商品页面爬取 打开某一个京东页面 https://item.jd.com/69336974189.html 代码： import requests url="https://item.jd.com/69336974189.html" try: r=requests.get(url) r.raise_for_status() r.encodin...
【Python】Python3网络爬虫实战-25、requests：高级用法
Python8年程序员教程分享
07-27 418
在前面一节我们了解了 Requests 的基本用法，如基本的 GET、POST 请求以及 Response 对象的用法，本节我们再来了解下 Requests 的一些高级用法，如文件上传，代理设置，Cookies 设置等等。 1. 文件上传 我们知道 Reqeuests 可以模拟提交一些数据，假如有的网站需要我们上传文件，我们同样可以利用它来上传，实现非常简单，实例如下： import reques...
Requests库实战
Canon_M的博客
09-28 421
一、京东商品页面爬取 import requests url = "https://item.jd.com/2967929.html" try: r= requests.get(url) r.raise_for_status() r.encoding = r.apparent_encodin print(r.text[:1000]) except: pr...
Python第四天——requests实战
qq_45802978的博客
11-18 580
Python第四天——requests实战 1. 获取百度网页并打印 1)模仿：获取淘宝网页并打印 import requests url=('http://www.taobao.com') r=requests.get(url) r.encoding=r.apparent_encoding print(r.text) 2、获取图片地址 1）错误 下载下来的图片为空 2）正确的 换个浏览器图片网址 [https://gimg2.baidu.com/image_search/src=http%3A%
网络爬虫之Requests实战（3）
giun的博客
01-08 288
一、爬取京东商品 话不多说直接上代码 import requests url="https://item.jd.com/2967929.html" try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding print(r.text[:1000])#截取前1000个...
python自动化的requests实战
m0_56039243的博客
04-20 1262
python requests实战
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值