爬虫学习笔记（第五章）requests进阶

最新推荐文章于 2022-12-23 13:55:15 发布
最新推荐文章于 2022-12-23 13:55:15 发布
阅读量238 收藏 1
点赞数 1
分类专栏： 笔记 爬虫 文章标签： python 代理模式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53312629/article/details/119300120
版权
笔记 同时被 2 个专栏收录
58 篇文章 11 订阅
订阅专栏
爬虫
13 篇文章 4 订阅
订阅专栏

文章目录

前言

2021.08.01弄完第五章。

第五章

1.模拟登录

  • 模拟登录：
    • 爬取基于某些用户的用户信息。

2.实战

①人人网模拟登录（src反爬待解决）

  • 需求：对人人网进行模拟登录（人人网，注册不了，可以跳了）。
    • 点击登录按钮之后会发起一个post请求；
    • post请求中会携带登录之前录入的相关的登录信息（用户名、密码、验证码等）；
    • 验证码：每次请求都会变化；
  • 编码流程：
    • 1.验证码识别，获取验证码图片的文字数据
    • 2.对post请求进行发送
    • 3.对相应数据进行持久化存储

练习代码如下：
[备注：教程中目前不可使用或访问的部分已经进行了提换和修改，以下内容使用的是超级鹰进行图片识别]

# 编码流程：
#  1.验证码识别，获取验证码图片的文字数据
#  2.对post请求进行发送
#  3.对相应数据进行持久化存储

import requests
from lxml import html
etree = html.etree
from bs4 import BeautifulSoup

from CodeClass import Chaojiying_Client

# 1.对验证码图片进行捕获和识别

if __name__ == "__main__":
    url = 'https://www.renren.com/login'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36'
    }
    page_text = requests.get(url=url, headers=headers).text
    tree = etree.HTML(page_text)

    # 这里图片的src为         data:image/jpg;base64,/9j/4AAQSkZJRgABAgAAAQABAAD/.../.../.../.../.../.../.../.../.../...
    # 但是xpath解析到的数据为  data:image/jpg;base64,
    # 逗号后面的数据都没有了，不知道是什么原因，所以这里我换一种方法
    # code_img_src = tree.xpath('/html/body/div/div[3]/div/div[1]/div[2]/div[2]/div[3]/div/img/@src')[0]
    soup = BeautifulSoup(page_text, 'lxml')
    code_img_src = soup.find('div', class_='rr-login_code input')
    # 好吧，人家验证码图片的src咱爬不全，不是解析的问题
    # 以后如果能解决的话再回来改
    print(code_img_src)
    code_img_data = requests.get(url=code_img_src, headers=headers)
    with open('./code.jpg', 'wb') as fp:
        fp.write(code_img_data)

    # 使用超级鹰提供的示例代码对验证码图片进行识别
    chaojiying = Chaojiying_Client('qwq', 'qwq', 'qwq')
    im = open('code.jpg', 'rb').read()
    result = chaojiying.PostPic(im, 1902)
    print(result)

    # 以下代码正确性以及适用性未知

    login_url = ''
    data = {

    }
    response = requests.post(url=login_url, headers=headers, data=data)
    print(response.status_code)     # 如果是200，则请求成功

    # login_page_text = requests.post(url=login_url, headers=headers, data=data).text
    # with open('renren.html', 'w', encoding='utf-8') as fp:
    #     fp.write(login_page_text)

②爬取用户信息（咱没有人人网账号，代码仅供参考）

  • 需求：爬取当前用户的相关用户信息（个人主页中显示的用户信息）
import requests
from lxml import html
etree = html.etree
from bs4 import BeautifulSoup

from CodeClass import Chaojiying_Client

# 1.对验证码图片进行捕获和识别

if __name__ == "__main__":
    url = 'https://www.renren.com/login'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36'
    }
    page_text = requests.get(url=url, headers=headers).text
    tree = etree.HTML(page_text)

    code_img_src = tree.xpath('/html/body/div/div[3]/div/div[1]/div[2]/div[2]/div[3]/div/img/@src')[0]
    code_img_data = requests.get(url=code_img_src, headers=headers)
    with open('./code.jpg', 'wb') as fp:
        fp.write(code_img_data)

    # 使用超级鹰提供的示例代码对验证码图片进行识别
    chaojiying = Chaojiying_Client('qwq', 'qwq', 'qwq')
    im = open('code.jpg', 'rb').read()
    result = chaojiying.PostPic(im, 1902)
    print(result)


    login_url = ''
    data = {

    }
    response = requests.post(url=login_url, headers=headers, data=data)
    print(response.status_code)     # 如果是200，则请求成功

    # 爬取当前用户的个人主页对应的页面数据
    detail_url = 'http://www.renren.com/*********/profile'
    detail_page_text = requests.get(url=detail_url, headers=headers).text
    with open('detailPage.html', 'w', encoding='utf-8') as fp:
        fp.write(detail_page_text)

3.模拟登录Cookie操作

  • http/https协议特性：无状态。
  • 没有请求到对应数据的原因：
    • 发起的第二次基于个人主页页面请求的时候，服务器端并不知道该请求是基于登录状态下的请求。
  • cookie：用来让服务器端记录客户端的相关状态。
  • 处理cookie的形式：
    • 手动处理：通过抓包工具获得cookie值，将该值封装到headers中（不推荐）
      （通用性不强，处理麻烦；有的页面cookie是动态变化的，有的具有有效时长）
    • 自动处理：
      • cookie值的来源是哪里？
        • 模拟登录post请求后，由服务器端创建。
      • session会话对象：
        • 作用：
          • 1.可以进行请求的发送
          • 2.如果请求过程中产生了cookie，则该cookie会被自动存储/携带在该session对象中
      • 操作流程：
        • 1.创建一个session对象：session = requests.Session()
        • 2.使用session对象进行模拟登录post请求发送（cookie会被存储在session中）
        • 3.session对象对个人主页对应的get请求进行发送（携带了cookie）

爬取用户信息修改版（使用session对象）：

import requests
from lxml import html
etree = html.etree
from bs4 import BeautifulSoup

from CodeClass import Chaojiying_Client

# ①创建一个session对象
session = requests.Session()

# 1.对验证码图片进行捕获和识别

if __name__ == "__main__":
    url = 'https://www.renren.com/login'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36'
    }
    page_text = requests.get(url=url, headers=headers).text
    tree = etree.HTML(page_text)

    code_img_src = tree.xpath('/html/body/div/div[3]/div/div[1]/div[2]/div[2]/div[3]/div/img/@src')[0]
    code_img_data = requests.get(url=code_img_src, headers=headers)
    with open('./code.jpg', 'wb') as fp:
        fp.write(code_img_data)

    # 使用超级鹰提供的示例代码对验证码图片进行识别
    chaojiying = Chaojiying_Client('qwq', 'qwq', 'qwq')
    im = open('code.jpg', 'rb').read()
    result = chaojiying.PostPic(im, 1902)
    print(result)


    login_url = ''
    data = {

    }
    # ②使用session进行请求的发送
    response = session.post(url=login_url, headers=headers, data=data)
    print(response.status_code)     # 如果是200，则请求成功

    # 爬取当前用户的个人主页对应的页面数据
    detail_url = 'http://www.renren.com/*********/profile'
    # 手动cookie处理
    # 通用性不强，处理麻烦
    # 有的页面cookie是动态变化的，有的具有有效时长

    # headers = {
    #     'Cookie': '*****'
    # }

    # ③使用携带cookie的session进行get请求的发送
    detail_page_text = session.get(url=detail_url, headers=headers).text
    with open('detailPage.html', 'w', encoding='utf-8') as fp:
        fp.write(detail_page_text)

4.代理

  • 代理：破解封IP这种反爬机制。
  • 什么是代理：
    • 代理服务器。
  • 代理的作用：
    • 突破自身IP访问的限制。
    • 隐藏自身真实的IP。
  • 代理相关的网站：
    • 快代理
    • 西祠代理已经挂了qwq（下面找了一个可以用的）
    • 西拉代理（登陆之后每天可以免费获取500个网络代理网址IP。注册以后点击上方“免费API接口”，按照提示操作就能获取免费的代理IP了）
    • www.goubanjia.com（这个也挂了qwq）
  • IP查询网站：
  • 代理IP的类型：
    • http：应用到http协议对应的url中
    • https：应用到https协议对应的url中
  • 代理IP的匿名度：
    • 透明：服务器它知道该次请求使用了代理，也知道请求对应的真实IP
    • 匿名：服务器它知道该次请求使用了代理，不知道请求对应的真实IP
    • 高匿：服务器不知道该次请求使用了代理，不知道请求对应的真实IP
  • 反爬机制：封IP
  • 反反爬策略：使用代理进行请求发送

测试代码如下：

import requests

if __name__ == "__main__":
    url = 'https://www.baidu.com/s?wd=ip'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36'
    }

    # page_text = requests.get(url=url, headers=headers, proxies={"https": '免费的代理暂时没找到好用的，付费的还没试，使用的时候把：后面的去掉'}).text
    # page_text = requests.get(url=url, headers=headers, proxies={"https": ''}).text
    page_text = requests.get(url=url, headers=headers).text
    with open('ip.html', 'w', encoding='utf-8') as fp:
        fp.write(page_text)
# 反爬机制：封IP
# 反反爬策略：使用代理进行请求发送
竹清兰香
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python爬虫知识----数据提取----Xpath和lxml、BeautifulScoup4、正则（二）
斗师——Ace
12-31 784
添加小程序，兑换各种视频教程/数据资源。 1. 什么是Xpath：是在xml和html文档中查找信息的一门语言，可对xml和html中的元素和属性进行遍历。 2.Xpath开发工具：chrome插件Xpath Helper。firefox插件Xpath Checker。在浏览中的拓展程序中下载,，用于直接在浏览中查找节点下的元素，验证代码xpath的准确性。 3. Xpath语法：...
爬虫学习笔记
Zikade0627的博客
02-19 1529
爬虫 1. 简单的爬虫 from urllib.request import urlopen url = "https://ssr1.scrape.center/" resp = urlopen(url) message = resp.read().decode("utf-8") print(message) with open("my_spyder.html", mode="w") as f: f.write(message) print("
为什么使用POST请求有利于保护用户的隐私？
qq_58035376的博客
04-22 578
Postman发送请求时带上登录信息
JoeBlackZQQ的专栏
08-16 4600
正常情况下，没有登录验证等公共接口，用postman进行get或post请求都很方便，加上相应的参数就行。 但是对于某些接口，可能需要先登录后才能请求，这时如果按正常的思路请求，可能就会被拦截了。 对于这种情况，可以通过以下方式： 1. 打开浏览器，正常登录后，再请求你要的接口，应该能请求成功，这时查看请求头： 看了下请求头中，感觉最有用的可能就是这个Cookie了，所以尝试将它添加到...
爬虫学习笔记（第三章）数据解析
weixin_53312629的博客
07-28 482
文章目录前言第三章一、理论知识二、图片爬取(爬一张)三、正则解析(爬一页)四、正则解析(分页爬)五、bs4解析基础六、bs4解析案例实战七、xpath解析基础八、xpath实战①案例一：58二手房②案例二：下载图片数据③案例三：解析出所有城市名④案例四：爬取站长素材中免费简历模板 前言      2021.07.27放假了，这两天在忙其它事，这几天回来继续学      2021.07.28学完了第三章；搞完了第三章 第三章
爬虫学习笔记（总）
weixin_53312629的博客
09-01 3231
本篇文章是对爬虫笔记系列文章的汇总，包含爬虫的介绍、request的使用、数据解析和验证码识别、异步爬虫、scrapy框架、增量式爬虫以及异步编程等内容。
scrapy学习笔记（二）进阶使用
墨鱼菜鸡
07-11 303
From：https://www.imooc.com/article/21839 scrapy提升篇之配置：https://segmentfault.com/a/1190000009321902 前面我写了一篇《scrapy快速入门》，简单介绍了一点scrapy的知识。这次就来介绍一些scrapy的进阶知识，做一些真正有用的爬虫来。 scrapy组...
Python爬虫进阶学习
qq_51922077的博客
12-23 751
Python进阶学习
[深度学习]Part1 Python学习进阶Ch23爬虫Spider——【DeepBlue学习笔记】
LiongLoure的博客
06-10 311
仅供学习使用
个人python学习笔记
05-16
本资源“个人python学习笔记”是一份全面的Python学习资料，覆盖了从基础到进阶的多个主题。 一、基础语法 Python的基础语法包括变量定义、数据类型（如整型、浮点型、字符串、布尔型、列表、元组、字典等）、流程...
python爬虫-mast笔记
05-31
1. **HTTP基础**：了解HTTP协议是爬虫学习的基础，包括HTTP方法（GET、POST等）、状态码（200、404等）以及请求头和响应头的构成。 2. **requests库**：`requests.get()`用于发起GET请求，`requests.post()`用于...
python爬虫个人笔记记录
11-26
4. 调用API：许多网站提供API接口供开发者获取数据，学习如何使用requests或第三方库如requests-apisession调用API。 5. 验证码识别：对于有验证码的网站，可能需要结合图像处理库如OpenCV和OCR技术进行识别。 ...
B站黑马程序员Python教程学习笔记.zip
02-21
1. **网页爬虫**：利用requests和BeautifulSoup库抓取网页数据，进行数据提取和清洗。 2. **数据分析**：结合pandas和numpy库进行数据处理，用matplotlib和seaborn库进行数据可视化。 3. **Web开发**：使用Flask或...
Python 学习笔记.zip
02-21
10. **标准库和第三方库**：Python有丰富的标准库和第三方库，如Numpy、Pandas用于科学计算，Matplotlib和Seaborn用于数据可视化，requests和BeautifulSoup用于网络爬虫等。 11. **错误和调试**：理解和处理运行时...
第1期：手把手教你制作网易邮箱注册页面
weixin_53312629的博客
01-22 6770
手把手教你制作网易邮箱页面 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录手把手教你制作网易邮箱页面前言一、一点基础知识二、制作步骤1.框架建立2.建立基本内容3.CSS3丰富内容总结附：学习资源 前言 寒假在自学了HTML和CSS之后，照着网易邮箱注册页面做了一个静态的页面，算是分享一下自己的心得体会吧。（PS：文末附有web前端学习的资源）
机器学习（十五）异常检测
weixin_53312629的博客
07-29 5958
本篇文章主要介绍了异常检测，首先直观描述了问题，随后定义了异常检测；高斯分布部分介绍了高斯函数的图像特征以及如何用其拟合数据；算法部分我们讨论了如何估计p(x)的值使来开发异常监测的算法；开发和评估异常检测系统中介绍了划分带标签和无标签的数据的方法；开发和评估异常检测系统中介绍了评估一个异常检测算法的步骤；特征选择中介绍了如何选择特征以及对特征进行转换；多元高斯分布最重要的优势就是可以描述两个特征变量之间可能存在正（负）相关的情况；用多元高斯分布来做异常检测能实现自动地捕捉正样本和负样本各种特征间的联系。.
机器学习（十四）无监督学习：降维
weixin_53312629的博客
03-10 4102
本篇文章主要介绍了降维的相关内容，以及两个应用：数据压缩可以使得某些算法运行得更快；可视化部分则是将数据画出来并更好的理解他们。在使用 PCA 之前首先要进行数据预处理。PCA 所做的是尝试找到一个面或线，把数据投影到这个面或线上，以便于最小化平方投影误差。主成分数字选择中介绍了一种高效的方法来选择 k。文中总结了 PCA 的主要应用，也指出了两个误区并给出了相应的建议：使用 PCA 来防止过拟合可能会导致重要数据的丢失；在设计一个机器学习系统时，只有在原始数据训练学习算法不能达到目的时才考虑使用压缩表示。
机器学习（五）Octave的使用介绍
weixin_53312629的博客
01-07 3358
本文主要介绍了 Octave 的一些基本操作以及对数据的移动、计算、绘制，以及控制语句的实现和向量化的概念。其中基本操作包括基本运算、对变量和矩阵的建立以及使用；移动数据包括计算矩阵的大小以及通过文件来加载数据并对数据进行查找；绘制图像包括单独成像、重合成像和分块成像；除此之外还有控制语句的使用以及函数的定义和使用；最后介绍了一个在实际操作中很有用的思想——向量化的思想，在此基础上合理地运用库函数来实现代码的优化。
requests 进阶
最新发布
06-19
以下是一些requests库的进阶内容： 1. **会话管理（Session）**：requests中的Session对象可以保存cookies和auth信息，这样可以在整个会话中保持登录状态，提高效率。例如： ```python import requests s = ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

竹清兰香

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值