requests实验

已于 2023-09-29 18:29:35 修改
阅读量1.1k 收藏 1
点赞数 1
分类专栏： 爬虫 文章标签： 爬虫 网络爬虫 python
于 2023-09-29 18:25:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44640357/article/details/133419516
版权

文章目录

实验目的：

1.熟悉requests请求的发送

2.掌握爬取页面的保存

实验内容：

1.使用百度搜索引擎查询给定的一个关键词（例如：bigdata），将搜索得到的网页存储起来。

2.给定使用baidu搜索引擎的关键词列表，将搜索得到的网页分别存储起来。

关键词列表：数据科学, 大数据, 人工智能, 机器学习, 数据挖掘, 多元统计, 数据科学与大数据技术, hadoop, hive, spark, hbase

因为一二两题的逻辑相同，所以代码经过函数封装，用两问的代码如下

2.1 代码展示

def search_baidu(word:str):
    """使用百度搜索引擎查询给定的一个关键词（例如：bigdata），将搜索得到的网页存储起来。

    Args:
        word (str): 关键词
    """
    import requests
    import os
    import time
  
    current_path = os.path.dirname(__file__)
  
    try:
        result_dir_path = os.path.join(current_path, "search_baidu_result")
        os.mkdir(result_dir_path)
    except:
        FileExistsError()
  
    fileName = f'{word}.html'
    file_path = os.path.join(result_dir_path, fileName)
  
    url = "https://www.baidu.com/s"
  
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.36",
        "cookie": "BAIDUID=DA699FCD7A80FD44AC7BDE1394D8BF03:FG=1; BIDUPSID=DA699FCD7A80FD44AC7BDE1394D8BF03; PSTM=1682335906; BDUSS=BzdTIzdGF5Wi12WX5vREY2dkJpVmRJWHhlblVRVVdQeTRSdUNMRzkwSEQ2dlprSVFBQUFBJCQAAAAAAAAAAAEAAAC9Vem~wdm352FkdWx0AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAMNdz2TDXc9kSH; BDUSS_BFESS=BzdTIzdGF5Wi12WX5vREY2dkJpVmRJWHhlblVRVVdQeTRSdUNMRzkwSEQ2dlprSVFBQUFBJCQAAAAAAAAAAAEAAAC9Vem~wdm352FkdWx0AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAMNdz2TDXc9kSH; BD_UPN=12314753; BAIDUID_BFESS=DA699FCD7A80FD44AC7BDE1394D8BF03:FG=1; BA_HECTOR=01a58k2005200k248l2k8gan1igo9nu1o; ZFY=5ETOScQaDmVYUyRxJsBOitC:AF:AOuM3pyHm8K0Ado5Nc:C; COOKIE_SESSION=161522_0_1_1_4_0_1_0_1_0_0_0_161542_0_55_0_1680853952_0_1680853897%7C3%230_0_1695302087%7C1%7C1; channel=bing; B64_BOT=1; baikeVisitId=02d8db48-c770-4ca4-aa49-69c210937c81; BD_CK_SAM=1; PSINO=6; delPer=0; H_PS_PSSID=39309_39364_39281_39347_39407_39097_39358_39307_39233_39403_26350_39428; BDRCVFR[feWj1Vr5u3D]=mk3SLVN4HKm; sugstore=0; H_PS_645EC=c327S49hWZbAupxVZJEMbJLQHUVrkWMagF5D3KMTvbIDRFqrIRvsH7ZRgth2jZ8qhAOb"
    }
  
    params = {
        "wd": word
    }
  
    response = requests.get(url, headers=headers, params=params)
  
    print(file_path)
  
    with open(file_path, "wb") as f:
        f.write(response.content)
      
    time.sleep(2)
  
if __name__ == "__main__":
    search_baidu("bigData")
  
    word_list = ["数据科学", "大数据", "人工智能", "机器学习", "数据挖掘", "多元统计", "数据科学与大数据技术", "hadoop", "hive", "spark", "hbase"]
    for wd in word_list:
        search_baidu(wd)

2.2 效果展示

在这里插入图片描述

2.3 注意事项

因为百度的反爬（安全认证）机制，所以在代码中加入cookie和sleep，限制了爬取速度，使得能够顺利爬取，或者可以使用不同的ua以及代理也可行。

3.在人邮教育官网上搜索“爬虫”的图书信息，结果保存起来。

3.1 代码展示

def search_ryjiaoyu(word:str):
    """在人邮教育官网上搜索“爬虫”的图书信息，结果保存起来

    Args:
        word (str): 图书名称
    """
    import os  
    import requests
  
    current_path = os.path.dirname(__file__)
  
    try:
        result_dir_path = os.path.join(current_path, "search_ryjiaoyun_result")
        os.mkdir(result_dir_path)
    except:
        FileExistsError()
  
    fileName = f'{word}.html'
    file_path = os.path.join(result_dir_path, fileName)
  
    url = "https://www.ryjiaoyu.com/search"
  
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.31"
    }
  
    params = {
        "q": word
    }
  
    response = requests.get(url, headers=headers, params=params)
  
    with open(file_path, "wb") as f:
        f.write(response.content)
  
if __name__ == "__main__":
    search_ryjiaoyu("爬虫")

3.2 效果展示

在这里插入图片描述

4.给定关键词列表（例如：【大数据、java、python】），在人邮教育官网上搜索图书、文章、资源、题库，并分类保存

4.1 代码展示

def search_ryjiaoyuPlus(wd_list:list):
    """给定关键词列表（例如：【大数据、java、python】），在人邮教育官网上搜索图书、文章、资源、题库，并分类保存

    Args:
        wd_list (list): 关键词词列表
    """
  
    import os
    import requests

    url = "https://www.ryjiaoyu.com/search"
  
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.31"
    }
  
    current_path = os.path.dirname(__file__)
  
    try:
        result_dir_path = os.path.join(current_path, "search_ryjiaoyunPlus_result")
        os.mkdir(result_dir_path)
    except:
        FileExistsError()
  
    wd_types = ["book", "article", "res", "paper"]
  
    for wd in wd_list:
        for wd_type in wd_types:
            params = {
                "q": wd,
                "type": wd_type
            }
      
            try:
                wd_dir_path = os.path.join(result_dir_path, f"{wd}_result_dir")
              
                wd_type_dir_path = os.path.join(wd_dir_path, f"{wd}_{wd_type}")
              
                os.makedirs(wd_type_dir_path)
            except:
                FileExistsError()  
            
            file_path = os.path.join(wd_type_dir_path, f"{wd}_{wd_type}.html")
          
            response = requests.get(url, headers=headers, params=params)
      
            with open(file_path, "wb") as f:
                f.write(response.content)
          

if __name__ == "__main__":
    wd_list = ["大数据", "java", "python"]
    search_ryjiaoyuPlus(wd_list)

4.2 效果展示

在这里插入图片描述

5.爬取人邮教育官网，关于“大数据”搜索结果的所有文章

5.1 代码展示

def search_ry_bigData():
    """爬取人邮教育官网，关于“大数据”搜索结果的所有文章"""
  
    import os 
    import requests
  
    url ="https://www.ryjiaoyu.com/search"
  
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.31"
    }
  
    current_path = os.path.dirname(__file__)
  
    try:
        result_dir_path = os.path.join(current_path, "search_ry_bigData_result")
        os.mkdir(result_dir_path)
    except:
        FileExistsError()
      
    for page in range(1, 9):
      
        filePath = os.path.join(result_dir_path, f"第{page}页的大数据文章.html")
      
        params = {
            "q": "大数据",
            "type": "article",
            "page": page
        }
      
        response = requests.get(url, headers=headers, params=params)
  
  
        print(response.text)
        with open(filePath, "wb") as f:
            f.write(response.content)
  
if __name__ == "__main__":
    search_ry_bigData()

5.2 效果展示

在这里插入图片描述

6.通过汉字查五笔和拼音，并将结果保存起来，要求爬虫封装在函数里。

https://qq.ip138.com/wb/wb.asp

6.1 代码展示

def search_wubi_pinyin(characters:str): 
    """通过汉字查五笔和拼音，并将结果保存起来，要求爬虫封装在函数里。
        https://qq.ip138.com/wb/wb.asp

    Args:
        characters (str): 汉字或者句子
    """

    import os
    import requests
  
    url = "https://qq.ip138.com/wb/wb.asp"
  
    data = {
        "querykey":characters
    }
  
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.31"
    }
  
    current_path = os.path.dirname(__file__)
    result_dir_path = os.path.join(current_path, "character")
  
    try:
        os.mkdir(result_dir_path)
    except:
        FileExistsError
      
    filePath = os.path.join(result_dir_path, "五笔编码&汉语拼音查询.html")
      
    response = requests.post(url, headers=headers, data=data)
  
    with open(filePath, "wb") as f:
        f.write(response.content)
  
if __name__ == "__main__":
    search_wubi_pinyin("你好")

6.2 效果展示

在这里插入图片描述

实验小结

  1. 使用os库注意当前路径
  2. 爬虫时注意网站是get还是post，因为使用的参数不同，一个为params，一个为data
  3. 输出时要注意编码问题
临风.
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pythonrequests证书_python requests 设置 proxy 和 SSL 证书
weixin_39572316的博客
12-10 761
例子直接系统代理requests 会直接使用 macOS 系统的 proxy 设置。设置 proxyimport requestsproxies = {'http': 'http://localhost:8888', 'https': 'http://localhost:8888'}requests.get('http://example.org', proxies=proxies)import ...
Requests库爬取个人的所有Git项目
05-23
标签中的"python Requests XPath"表明了本实验涉及Python编程、Requests库以及XPath技术。Python的Requests库简化了HTTP请求操作，XPath则提供了高效的数据提取手段。 总结来说，这个实验涵盖了以下知识点： 1. ...
学习Python的requests库的总结
qq_61884165的博客
04-03 1347
requests库是基于Python开发的HTTP库，它能节省大量的工作，实际上，requests是在urllib的基础上进行了高度的封装，它不仅继承了urllib的所有特性，而且还支持一些其他的特性。 下面介绍requests库的7个主要方法： requests.request()：构造一个请求，支撑一下各种方法的基础方法。 requests.get()：获取HTML网页的主要方法，对应于HTTP的GET。 requests.head()：获取HTML网页头信息的主要方法，对应于HTTP的HEAD
初学爬虫requests库（小实验）
bbW.的博客
01-08 301
** 初学爬虫request库（小实验） ** 编写代码，使用requests库，得到 http://www.webscrapingfordatascience.com/usercheck/ 的页面内容 网站页面内容： 请求头： 附上代码;import requests link = "http://www.webscrapingfordatascience.com/usercheck/" headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; W
requests模拟需要验证码的登录
qq_45665594的博客
01-05 3180
利用requests模拟需要验证码的登录，这个过程最重要的就是找到验证码图片的接口和登录请求。 本次我们登入的的界面如图所示： 我们通过谷歌打开F12 找到验证码图片的那条请求 登录 抓到登录的请求 观察form_data中的参数： 发data中的帐号密码进行加密 但是验证码并没有加密 把这些接口搞清楚在之后就可以模拟登录了 代码如下 import requests import time import re def crawl(): # 创建会话对象 方便访问不同页面时能保持身份
Python Requests实现天气预报
FriendshipTang的博客
03-28 5248
Python、Requests、Lxml、XPath、Pyttsx3
使用requests过程中遇到的坑
zhugushen的博客
07-27 1043
1.https请求，需要安装几个依赖包，具体原理还没来得及看，先记录，解决方法： https://blog.csdn.net/qq_31077649/article/details/79013199
Python爬虫requests库的使用教程
隔壁山上小道士的博客
01-13 340
1. 介绍 对了解一些爬虫的基本理念，掌握爬虫爬取的流程有所帮助。入门之后，我们就需要学习一些更加高级的内容和工具来方便我们的爬取。那么这一节来简单介绍一下 requests 库的基本用法 2. 安装 利用 pip 安装 pip install requests 3. 基本请求 req = requests.get("http://www.baidu.com") req = requests.post("http://www.baidu.com") req = requests.put("http:/
Requests 中文乱码
m0_37995876的博客
08-06 180
https://blog.csdn.net/chaowanghn/article/details/54889835 乱码终极解决办法     后来查阅官方文档中response-content相关内容，说明了Requests会自动解码来自服务器的内容。Requests会基于HTTP头部对响应的编码作出有根据的推测，前提是响应文档的HTTP headers里面没有相关字符集说明。官方文档还说明了，...
pythonrequests作者_知名 Python 库 Requests 作者 Kenneth Reitz 被指滥用捐款
weixin_39644611的博客
12-23 227
2017 年 8 月，Nathaniel 开始为 urllib3 添加异步支持，urllib3 是 Requests 使用的底层 HTTP 库，该支持是是高度实验性的。Kenneth 对这项工作非常感兴趣，他非常希望在 Requests 中提供异步支持，但是自己又不知道怎么做。于是他开始招募志愿者以 Nathaniel 的方式去开发。几个月之后，Kenneth 宣布 Requests 3 的工作开...
requests实现ip代理池实验
11-25
python的requests包实现ip代理池(仅作为学习实验使用)
基于requests爬取比特币信息并绘制价格走势图
01-12
本期内容：基于requests爬取比特币信息并绘制价格走势图 实验环境 - anaconda丨pycharm - python3.11.4 - requests 安装requests库的命令： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests ...
物联网python实验报告
05-16
这个实验涉及到网络编程和网页抓取，可能会使用到Python的requests库来发送HTTP请求获取网页数据，再用BeautifulSoup或re模块解析HTML，提取所需信息。网络信息提取在物联网中广泛应用于获取远程设备的状态或进行...
模块三 实验二、requests.py
05-24
模块三 实验二、requests.py
Java基础:爬虫
weixin_65752158的博客
07-04 825
Pattern:表示正则表达式Matcher:文本匹配器，作用按照正则表达式的规则去读取字符串，从头开始读取。在大串中去找符合匹配规则的子串。通过Pattern p = Pattern.compile("正则表达式");获得 通过Matcher m = p.matcher(str);获得 (m要在str中找符合p规则的小串)其中, m为Matcher对象, p为正则表达式规则, str为要验证的字符串. boolean b = m.find(); 表示拿着文本匹配器从头开始读取，寻找是否有
python爬虫入门（二）之Requests库
最新发布
2302_79795489的博客
07-05 111
1、requests库让我们可以通过python代码去构建和发送HTTP请求2、第三方库，要先安装python终端，输入pip install requestssuccessfully installed：安装成功requirement already satisfied: 说明已经安装过，无需再安装若没有pip（python包管理工具）则可以先去http://pip.pypa.io/en/stable/installation/学习下载安装3、
爬虫 属性 方法
weixin_46807151的博客
07-02 412
在Python中，爬虫常用于从网页上抓取数据。BeautifulSoup是一个流行的库，用于从HTML或XML文件中提取数据。它创建了一个解析树，方便你从文档中查找、修改或导航数据。
爬虫-Python基础
2301_79602614的博客
06-27 1065
运行Pycharm,选择 Create New Project ,创建一个新的Python工程选择'Pure Python'创建一个新的纯Python工程项目， Location 表示该项目的保存路径， Interpreter 用来指定Python解释器的版本。右击项目，选择 New ，再选择 Python File在弹出的对话框中输入的文件名 HelloPython ，点击OK，表示创建一个Python程序的文本文件，文本文件后缀名默认.py。
用Unittest+requests实现对实验二中开发的接口进行自动化测试
06-07
好的，我们可以使用Unittest和requests库来对实验二中开发的接口进行自动化测试。假设我们的接口有以下四个： 1. 添加用户接口：URL为http://localhost:8000/add_user，请求方式为POST，需要传递JSON格式的数据，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值