二、爬虫requests库

最新推荐文章于 2023-03-19 23:35:32 发布
最新推荐文章于 2023-03-19 23:35:32 发布
阅读量196 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/spike1988zc/article/details/108700543
版权

文章目录

二、爬虫requests库

1.发送简单的请求

# 访问指定网址
response = requests.get(url)

# response的常用方法：
response.text
response.content
response.status_code
response.request.headers
response.headers

2.判断请求是否成功

# 判断请求是否成功
assert response.status_code == 200

3.发送带header的请求

为什么请求需要带上header?

因此需要模拟浏览器，欺骗服务器，获取和浏览器一致的内容

  • header的形式：字典
  • headers = {“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36”}
  • 用法：requests.get(url, headers=headers)

什么叫做请求参数?

例1：http://www.webkaka.com/tutorial/server/2015/021013

例2：https://www.baidu.com./s?wd=python&c=b

  • 参数的形式：字典
  • kw={“wd” : “python”}
  • 用法：requests.get(url, params=kw)

4.发送post请求

哪些地方我们会用到post请求：

  • 登录注册（post比get更安全）
  • 需要传输大文本内容的时候（psot请求对数据长度没有要求）

所以，我们的爬虫也需要在这两个地方回去模拟浏览器发送post请求

用法：

response = request.post(“http://www.baidu.com/”, data = data, headers=headers)

data的形式：字典

5.使用代理

用法：requests.get(“http://www.baidu.com”, proxies=proxies)

proxies的形式：字典

proxies={

​ “http:” “http://12.34.56.79:9527”,

​ “https:” “http://12.34.56.79:9527”,

}

使用代理ip前，需要检查ip的可用性

  • 准备大量的ip地址，组成ip池，随机选择一个ip来用

  • 如何随机选择代理ip，目的是让使用次数较少的ip地址，有更大的可能性被用到

    • 将每个ip地址转化成字典，如{“ip”:ip, “times”:0}
    • [{}, {}, {}, {}]，对这个ip的列表进行排序，按照使用次数进行排序
    • 选择使用次数较少的10个ip，从中随机选择一个

  • 可以使用requests添加超时参数，判断ip地址的质量；

  • 在线代理ip质量检测的网站；

6.cookie和session的区别

  • cookie数据存放在客户的浏览器上，session数据存放在服务器上；
  • cookie不是很安全，别人可以分析存放在本地的cookie并进行cookie欺骗；
  • session会在一定时间内保存在服务器上。当访问增多，会比较占用你服务器的性能；
  • 单个cookie保存的数据不能超过4k，很多浏览器都限制一个站点最多保存20个cookies；

带上cookie、session的好处：

能够请求到登录之后的页面；

带上cookie、session的弊端：

一套cookie和session往往和一个用户对应，请求太快，请求次数太多，容易被服务器识别为爬虫；

因此，不要cookie的时候尽量不去使用cookie，但为了获取登录之后的页面，我们必须发送带有cookies的请求。

携带cookie请求

  • 携带一堆cookie进行请求，把cookie组成cookie池；

7.处理cookies、session请求

requests提供了一个叫做session类，来实现客户端和服务端的会话保持（session能够保证客户端存在本地的cookie）

  • 使用方法：
    • 1.实例话一个session对象
      • session = requests.session()
    • 2.让session发送get或者post请求
      • response = session.get(url,headers)

使用requests提供的session类来请求登录之后的网站的思路

  • 实例化session；
  • 先使用session发送请求，登录对网站，把cookie保存在session中；
  • 再使用session请求登录之后才能访问的网站，session能够自动的携带登录成功的时保存在其中的cookie，进行请求；
# 方式一：实例化session，使用session发送post请求，在使用他获取登录后的页面
session = requests.session()

post_url = "http://www.renren.com/SysHome.do"
post_data = {"email": "gaokaoenglish150@sina.com", "password": "*******"}

headers = {
    "user-agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Mobile Safari/537.36"}

# 使用session发送post请求，cookie保存在其中
session.post(post_url, data=post_data, headers=headers)

# 再使用session进行请求登录之后才能访问的地址
r = session.get("http://www.renren.com/239835519/newsfeed/photo", headers=headers)

# 保存页面
with open("05.renren.html", mode="w", encoding="utf-8") as f:
    f.write(r.content.decode())

# 方式二：headers中添加cookie键，值为cookie字符串
post_url = "http://www.renren.com/239835519/profile"

headers = {
    "user-agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Mobile Safari/537.36",
    "Cookie": "anonymid=kc7jw6xa8tig6d; depovince=ZGQT; _r01_=1; JSESSIONID=abcHfs-EegOYk4zqKRRsx; taihe_bi_sdk_uid=3fc202011b1d380a3967c595de815f9e; taihe_bi_sdk_session=669440f8e13e6d063fc46ee65e17b425; ick_login=fdcab00f-eb6a-4458-a10d-a2c737ab0f85; first_login_flag=1; ln_uact=gaokaoenglish150@sina.com; ln_hurl=http://hdn.xnimg.cn/photos/hdn301/20081231/14/15/main_o7qe_10709k204096.jpg; wp_fold=0; jebecookies=35667259-2fce-4b7e-b9a0-ec4fc7ad7cb4|||||; _de=15F0BF98A509B5DBE4B3DE76E4D44457270E2E3B4A0CA0A66DEBB8C2103DE356; p=633d5bfbf82fa4ba51e0ea7584b725ba9; t=807a936192f54fa3dfe515d65ec3f2b99; societyguester=807a936192f54fa3dfe515d65ec3f2b99; id=********; xnsid=5442fbef; ver=7.0; loginfrom=null"
}

r = requests.get("http://www.renren.com/239835519/newsfeed/photo", headers=headers)

# 保存页面
with open("05.renren.html", mode="w", encoding="utf-8") as f:
    f.write(r.content.decode())

# 方式三：在请求方法中添加cookies参数，接受字典形式的cookie。字典形式的cookies中的键是cookie的name，值是cookie的value
headers = {
    "user-agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Mobile Safari/537.36"}

url = "http://www.renren.com/239835519/profile"

cookies = "anonymid=kc7jw6xa8tig6d; depovince=ZGQT; _r01_=1; JSESSIONID=abcHfs-EegOYk4zqKRRsx; taihe_bi_sdk_uid=3fc202011b1d380a3967c595de815f9e; taihe_bi_sdk_session=669440f8e13e6d063fc46ee65e17b425; ick_login=fdcab00f-eb6a-4458-a10d-a2c737ab0f85; first_login_flag=1; ln_uact=gaokaoenglish150@sina.com; ln_hurl=http://hdn.xnimg.cn/photos/hdn301/20081231/14/15/main_o7qe_10709k204096.jpg; wp_fold=0; jebecookies=35667259-2fce-4b7e-b9a0-ec4fc7ad7cb4|||||; _de=15F0BF98A509B5DBE4B3DE76E4D44457270E2E3B4A0CA0A66DEBB8C2103DE356; p=633d5bfbf82fa4ba51e0ea7584b725ba9; t=807a936192f54fa3dfe515d65ec3f2b99; societyguester=807a936192f54fa3dfe515d65ec3f2b99; id=********; xnsid=5442fbef; ver=7.0; loginfrom=null"

# 字典推导式
cookies = {i.split("=")[0]: i.split("=")[1] for i in cookies.split("; ")}

r = requests.get(url, headers=headers, cookies=cookies)

# 保存页面
with open("05.renren.html", mode="w", encoding="utf-8") as f:
    f.write(r.content.decode())

不发送post请求，使用cookie获取登录后的页面

  • cookie过期时间很长的网站，如政府网站，学校网站等；
  • 在cookie过期之前能够拿到所有的数据，比较麻烦；
  • 配合其他程序一起使用，其他程序专门获取cookie，当前程序专门请求页面；

8.requests中解决编码的方法

response.text

  • 类型：str
  • 解码类型：根据HTTP头部对响应的编码做出有根据的推测，推测的文本编码
  • 如何修改编码方式：response.encoding=“gbk”

response.content

  • 类型：bytes

  • 解码类型：没有指定

  • 如何修改编码方式：response.content.decode(“utf-8”)

    • response.content.decode();
    • response.content.decode(“gbk”);

9.贴吧爬虫练习

import requests


class TiebaSpider:
    def __init__(self, tieba_name):
        self.tieba_name = tieba_name
        self.headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36"}
        self.url_temp = "https://tieba.baidu.com/f?kw=" + tieba_name + "&ie=utf-8&pn={}"

    # 1.构造url列表
    def get_url_list(self):
        # url_list = []
        # for i in range(1000):
        #     url_list.append(self.url_temp.format(i * 50))
        # return url_list
        return [self.url_temp.format(i * 50) for i in range(1000)]

    # 2.发送请求，获取响应
    def parse_url(self, url):
        print(url)
        reponse = requests.get(url, headers=self.headers)
        return reponse.content.decode()

    # 3.保存html字符串
    def save_html(self, html_str, page_num):
        file_path = "{}-第{}页.html".format(self.tieba_name, page_num)
        with open(file_path, mode="w", encoding="utf-8") as f:
            f.write(html_str)

    # 实现主要逻辑:不写具体的实现，只调用方法
    def run(self):
        # 1.构造url列表
        url_list = self.get_url_list()
        # 2.遍历，发送请求，获取响应
        for url in url_list:
            html_str = self.parse_url(url)
            # 3.保存
            page_num = url_list.index(url) + 1
            self.save_html(html_str, page_num)


if __name__ == "__main__":
    tieba_spider = TiebaSpider("恐怖漫画")
    tieba_spider.run()
1152：从入门到脱发
关注
python爬虫requests库入门基础
06-06
### Python爬虫requests库入门基础 #### Requests模块安装与简介 - **安装**: 使用Python的包管理工具pip来安装requests库。在命令行输入以下命令即可完成安装：`pip install requests`。 - **模块简介**: ...
Pytest接口自动化测试实战演练
最新发布
m0_68405758的博客
04-25 984
case/test_service_info.py #上面接口某一测试用例。http_requests.py: 封装自己的请求方法。read_yaml.py：读取yaml文件测试用例数据。read_save_data.py：读取保存的数据文件。save_data: 存放接口返回数据、接口下载文件。2.将每个用例调用的接口封装在一个测试类里面生成一个py文件。api/api_service.py　#需要测试的一类接口。logger.py: 封装输出日志文件。run_main.py: 项目运行文件。
python爬虫小实战一 之 header里的坑
我不想秃头的博客
05-21 3231
前几天我工作上的导师要我帮他写一个小爬虫。需要爬下新浪网上的有关关键字的新闻，把包含关键字的新闻内容查爬出来。 接下来就开始边做边记录下心得吧！！！ 爬虫需要请求url，则需要导入requests包，要查找html页面里的内容，则需导入BeautifulSoup包 方便导入，可以这样：file -> settings -> 点右上方的 “+” 号，然后在新的页面的搜索栏搜...
python爬虫初学的小记录
weixin_42929804的博客
06-09 277
self.headers = {“User-Agent”: “Mozilla/5.0”} 对headers的解释： User Agent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，User Agent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标 识，用户所访问的网站可以显示不同的排版从而为...
关于headers验证的问题
夜斗不是神
11-20 2434
关于headers验证
Python爬虫 requests库实践
01-20
文章目录Python爬虫（二）—— requests库实践 ——1.京东商品页面的爬取2. 实例3：百度360搜索关键词提交3. 网络图片的爬取和存储 1.京东商品页面的爬取 import requests url = ...
Python网络爬虫Requests库入门
12-21
【Python网络爬虫Requests库入门】 Requests库是Python中广泛使用的网络爬虫工具，它提供了简单易用的API来发送各种HTTP请求。本篇将详细介绍Requests库的入门、安装、HTTP协议以及常用方法。 首先，让我们从...
Python爬虫requests库多种用法实例
09-16
Python的requests库是进行网络请求最常用的工具之一，尤其在编写爬虫程序时。这个库提供了简单易用的API来发起HTTP请求，并处理各种复杂的网络交互。以下是对requests库多种用法的详细解释： 1. **安装和使用**： ...
爬虫之requests库1
08-04
在爬虫领域，Requests库通常与其他库（如BeautifulSoup或Scrapy）结合使用，进行网页抓取和解析。在上述描述中，通过示例展示了如何获取天气预报数据，这是爬虫应用的一个常见场景。在实际应用中，应遵循网站的...
Python爬虫headers处理及网络超时问题解决方案
12-17
1、请求headers处理 　　我们有时请求服务器时，无论get或post请求，会出现403错误，这是因为服务器拒绝了你的访问，这时我们可以通过模拟浏览器的头部信息进行访问，这样就可以解决反爬设置的问题。 import requests # 创建需要爬取网页的地址 url = 'https://www.baidu.com/' # 创建头部信息 headers = {'User-Agent':'OW64; rv:59.0) Gecko/20100101 Firefox/59.0'} # 发送网络请求 response = requests.get(url, headers=headers) #
爬虫2
qq_45849275的博客
12-14 1048
import requests import html from lxml import etree class Spider(object): def init(self): self.headers = { “user-agent”:“Mozilla/5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Ch...
Python爬虫入门
kudouranaaa的博客
10-20 346
python爬虫入门，介绍了什么是爬虫、爬虫的流程、几个爬虫的基本的库（urllib，Requests，BeautifulSoup），并实践了爬取网络照片实例。
Python爬虫之查找自己浏览器headers
热门推荐
weixin_43982422的博客
09-19 1万+
Python爬虫查找自己浏览器headers 每个浏览器都有自己的headers，因为headers要模仿你自己的浏览器向网页发送信息。如果使用Python进行爬取页面时，使用了别人的headers可能会导致爬取不到任何数据（因为代码在你自己的电脑运行，所以无法模拟别人的浏览器）。 比如，在进行学习时，或多或少都会参考别人的代码，这时如果你将别人代码中的headers直接复制过来，就可能导致代码运行没有错误，但是就是爬取不到任何数据。 如何查找自己浏览器的headers。 以谷歌浏览器为例——随便打开一个网
python requests接口自动化测试工具类文件封装，加上中文代码注释，提供实例
HRD的博客
03-19 512
python requests接口自动化测试工具类文件封装，加上中文代码注释，提供200个实例以下是一个Python Requests接口自动化测试工具类文件封装的示例，包括200个实例。这个工具类文件封装可以帮助您更方便地进行接口自动化测试。
self.headers = CaseInsensitiveDict((to_native_string(name), value) for name, value in headers.it
weixin_44424997的博客
05-07 1043
报错原因是self.headers为字典格式，写成了字符串格式，会报错！
python 随机请求头_Pyspider中使用随机请求头的方法
weixin_39560245的博客
12-22 369
Pyspider中使用随机请求头的方法来源：中文源码网浏览： 次日期：2018年8月30日【下载文档:Pyspider中使用随机请求头的方法.txt】(友情提示:右键点上行txt文档名->目标另存为)Pyspider中使用随机请求头的方法Pyspider中给爬虫伪造随机请求头的实例 Pyspider 中采用了 tornado 库来做 http 请求，在请求过程中可以添加...
【Python、文件】Python解析上传文件
司公子
06-04 1688
在开发的过程中几乎都会遇到上传文件的这类操作，小编第一次的接触的时候也很茫然 于是就去翻阅资料整理了完成了需求，并且把它整理成笔记 供大家一起探讨学习 首先需求是 用户需要批量支付或者批量上传东西的时候需要下载自己平台的模板 填写信息上传文件。 我需要前端传来的文件 首先肯定是post请求。通过请求体传参的。第一件事我们应该获取post中的文件 class Test: ...
python爬虫系列(2.1-requests库的基本的使用)
weixin_33748818的博客
11-08 321
​一、基本认识1、发送一个get请求import requestsif __name__ == "__main__": # 获取一个get请求 response = requests.get('http://httpbin.org/get')2、关于获取请求到数据常见的返回值import requestsif __name__ == "__main__": # 获取一个get请求...
Python爬虫中requests库详解及HTTP基础
首先，安装requests库是进行爬虫开发的第一步。在命令行环境中，使用`pip install requests`命令即可快速安装。确保在你的Python项目中导入requests库，例如在IDLE中输入`import requests`后，你就可以开始利用其...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值