网络请求模块补充

已于 2022-05-07 14:40:55 修改
阅读量552 收藏
点赞数
分类专栏： python爬虫 文章标签： python
于 2022-04-20 14:44:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/R71802/article/details/123966344
版权

网络请求模块补充

文章目录

提示：以下是本篇文章正文内容，下面案例可供参考

一、urllib.parse的补充

1、批量转换成字典格式

Ctrl+R然后会弹出框
点击.图标
在这里插入图片描述
接着输入
上一行 ： (.* ?): (.*)
下一行： “$1”:“$2”,
在这里插入图片描述
然后点击replace all或者全部替换
在这里插入图片描述
然后放到字典里面
在这里插入图片描述
代码展示：

import urllib.parse

dict = {
"ie":"UTF-8",
 "tn":"62095104_35_oem_dg",
 "wd":"爬虫",
}
 # "ie":"UTF-8",
 # "tn":"62095104_35_oem_dg",
 # "wd":"爬虫",

base_url = "https://www.baidu.com/"

url = base_url + urllib.parse.urlencode(dict)
print(url)
print(urllib.parse.urlencode(dict))

2、urllib.parse.urlencode()的作用

urllib.parse.urlencode()能够把字典格式的数据用&拼接成字符串的

二、百度贴吧案例

目标：爬取贴吧数据
需求：
1、输入要爬取的贴吧名字
2、实现翻页爬取 指定起始页
3、保存 1.html 2.html

页面分析

先实现翻页

https://tieba.baidu.com/f?dyTabStr=MCw2LDIsMyw0LDEsNSw3LDgsOQ%3D%3D&fr=ala0&kw=%C0%AF%B1%CA%D0%A1%D0%C2&tpl=5 第一页
https://tieba.baidu.com/f?kw=%E8%9C%A1%E7%AC%94%E5%B0%8F%E6%96%B0&ie=utf-8&pn=50 第二页
https://tieba.baidu.com/f?kw=%E8%9C%A1%E7%AC%94%E5%B0%8F%E6%96%B0&ie=utf-8&pn=100 第三页

观察这三页的规律
翻页规律：可以发现以50为基数增加的
0 第一页 （1-1）*50
50 第二页 （2-1）*50
100 第三页 （3-1）*50

简单代码实现

# 目标：爬取贴吧数据

import urllib.parse
import urllib.request

title = input("请输入要爬取的贴吧主题：")
start = int(input("请输入开始页："))
end = int(input("请输入结束页："))

header = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36"
}

# 目标url的拼接
base_url = "https://tieba.baidu.com/f?"
# range是左闭右开的
for i in range(start, end + 1):
    dict = {
        "kw": title,
        "ie": "utf-8",
        "pn": (i - 1) * 50
    }
    url_res = urllib.parse.urlencode(dict)  # 拼接dict
    url = base_url + url_res
    print(url)

    # 发送请求 获取响应
    # 1、构造请求对象 url和header
    res_obj = urllib.request.Request(url,headers=header)
    # 2、发送请求
    response = urllib.request.urlopen(res_obj)
    # 3、从响应对象里面获取响应内容（源代码）
    html = response.read().decode('utf-8')

    # 保存数据 1.html 2.html
    print("正在爬取html")
    file_name = str(i) + 'html'
    print("已爬取第"+str(i)+'页html信息')
    with open(file_name,'w',encoding='utf-8') as file_obj:
        file_obj.write(html)

1、百度 贴吧改写函数式

import urllib.parse
import urllib.request


# 发送请求 获取网页源代码
def getHtml(url, header):
    """
    :param url: 请求的目标url
    :param header: 请求头
    :return: 返回值html
    """
    # 发送请求 获取响应
    # 1、构造请求对象 url和header
    res_obj = urllib.request.Request(url, headers=header)
    # 2、发送请求
    response = urllib.request.urlopen(res_obj)
    # 3、从响应对象里面获取响应内容（源代码）
    html = response.read().decode('utf-8')
    return html


# 保存到本地
def saveData(html, file_name):
    """
    :param html: 要写入的数据（网页源码）
    :param file_name: 要保存的文件名字
    :return:
    """
    with open(file_name, 'w', encoding='utf-8') as file_obj:
        file_obj.write(html)


# 主函数
def main():
    title = input("请输入要爬取的贴吧主题：")
    start = int(input("请输入开始页："))
    end = int(input("请输入结束页："))

    header = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36"
    }
    # 目标url的拼接
    base_url = "https://tieba.baidu.com/f?"
    # range是左闭右开的
    for i in range(start, end + 1):
        dict = {
            "kw": title,
            "ie": "utf-8",
            "pn": (i - 1) * 50
        }
        url_res = urllib.parse.urlencode(dict)  # 拼接dict
        url = base_url + url_res
        print(url)
        html = getHtml(url, header)
        # 保存数据 1.html 2.html
        print("正在爬取html")
        file_name = str(i) + 'html'
        print("已爬取第" + str(i) + '页html信息')
        saveData(html, file_name)


if __name__ == '__main__':
    main()

2、百度 贴吧改写成面向对象式

代码如下（示例）：

import urllib.parse
import urllib.request


class BaiduTb():
    def __init__(self):
        pass

    def readHtml(self,url,header):
        """
        :param url: 请求的目标url
        :param header: 请求头
        :return: 返回值html
        """
        # 发送请求 获取响应
        # 1、构造请求对象 url和header
        res_obj = urllib.request.Request(url, headers=header)
        # 2、发送请求
        response = urllib.request.urlopen(res_obj)
        # 3、从响应对象里面获取响应内容（源代码）
        html = response.read().decode('utf-8')
        return html

    def saveHtml(self,file_name,html):
        """
            :param html: 要写入的数据（网页源码）
            :param file_name: 要保存的文件名字
            :return:
            """
        with open(file_name, 'w', encoding='utf-8') as file_obj:
            file_obj.write(html)

    def main(self):
        title = input("请输入要爬取的贴吧主题：")
        start = int(input("请输入开始页："))
        end = int(input("请输入结束页："))

        header = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                          "Chrome/100.0.4896.127 Safari/537.36 "
        }
        # 目标url的拼接
        base_url = "https://tieba.baidu.com/f?"
        # range是左闭右开的
        for i in range(start, end + 1):
            dict = {
                "kw": title,
                "ie": "utf-8",
                "pn": (i - 1) * 50
            }
            url_res = urllib.parse.urlencode(dict)  # 拼接dict
            url = base_url + url_res
            print(url)
            html = self.readHtml(url, header)
            # 保存数据 1.html 2.html
            print("正在爬取html")
            file_name = str(i) + 'html'
            print("已爬取第" + str(i) + '页html信息')
            self.saveHtml(html, file_name)


if __name__ == '__main__':
    tb = BaiduTb()
    tb.main()

少爬易给封

三、百度案例

页面分析

第一页
wd: 爬虫
pn: 0
oq: 爬虫
tn: 62095104_35_oem_dg
ie: utf-8
usm: 3
rsv_pq: ff1689940000985b
rsv_t: 9937qekKvRdsq8/euMtVLUaTI1a073D3d+3NPNcP+iF7kL0Ju2LXjKBybNQ1NkDsfr1nDN8ErnJs
第二页
wd: 爬虫
pn: 10
oq: 爬虫
tn: 62095104_35_oem_dg
ie: utf-8
usm: 3
rsv_pq: baa30ebc0001d955
rsv_t: 2365f1dYeVnMlJqcSmgpP81PEzjCOA25O/ZGKaLKrDG4j5FjqawYexnxyCbsmWO11HmumPQttdIf
第三页
wd: 爬虫
pn: 20
oq: 爬虫
tn: 62095104_35_oem_dg
ie: utf-8
usm: 3
rsv_pq: a0f0e65a0001f772
rsv_t: 0137oyFIandQaSxRttP+OG1x13ZlTp78qigEJjN9eEnazxyAnNFaKEYNc6q1cxmuldwM3kRMlCWZ

~通过页面分析，我们可以看出：
通过动态替换pn能实现翻页
虽然在不同页rsv_pq和rsv_t这两个参数变化了，但是不影响。

缩进

同时退：选择要操作的代码后 按tab
同时进：选择要操作的代码后 按shift + tab

代码实现

import urllib.parse
import urllib.request

title = input("请输入要爬取的贴吧主题：")
start = int(input("请输入开始页："))
end = int(input("请输入结束页："))
header = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/100.0.4896.127 Safari/537.36 "
}
for i in range(start, end + 1):
    # wd和oq对应搜索主题词
    # pn实现翻页
    dict = {
        "wd": title,
        "pn": (i - 1) * 10,
        "oq": title,
        "tn": " 62095104_35_oem_dg",
        "ie": " utf-8",
        "usm": " 3",
        "rsv_pq": " ad76005600003bdf",
        "rsv_t": " d8b6Zjkf0RBxJOU8ZO2cxV83M22udzJG1xPIRAh2q54wA+TJ/MuYJAR336aAf6soUvirGt/HDLUm",
    }

    # 在dict查找主题词和翻页参数
    base_url = "https://www.baidu.com/s?"
    url = base_url + urllib.parse.urlencode(dict)
    # 确定目标url没问题
    print(url)
    # 发送请求 获取响应
    # 1、构造请求对象 url和header
    res_obj = urllib.request.Request(url, headers=header)
    # 2、发送请求
    response = urllib.request.urlopen(res_obj)
    # 3、从响应对象里面获取响应内容（源代码）
    html = response.read().decode('utf-8')
    # 保存数据 1.html 2.html
    print("正在爬取html")
    file_name = "baidu " + title + str(i) + 'html'
    print("已爬取第" + str(i) + '页html信息')
    with open(file_name, 'w', encoding='utf-8') as file_obj:
        file_obj.write(html)

可以在把这个简单代码，改写成函数形式，或者面向对象形式，加深自己学习印象！！！

四、有道翻译

学习目标

如何用urllib发送post请求

需求

输入翻译词 得到相应的翻译结果

确定真正的目标url网址

https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule

代码实现

import urllib.parse
import urllib.request
import json

word = input("请输入要翻译的内容：")
# https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule
# 通过测试对比我们发现 翻译不同的内容 目标url是不会变化的
# _o涉及到js逆向
url = "https://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"

header = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/100.0.4896.127 Safari/537.36 "
}
# 发送post请求时，需要的参数data
data = {
    "i": word,
    "from": "AUTO",
    "to": "AUTO",
    "smartresult": "dict",
    "client": "fanyideskweb",
    "salt": "16504345411038",
    "sign": "1fd879b77c3d9ad88360b4b161a3bb2e",
    "lts": "1650434541103",
    "bv": "ac3968199d18b7367b2479d1f4938ac2",
    "doctype": "json",
    "version": "2.1",
    "keyfrom": "fanyi.web",
    "action": "FY_BY_REALTlME",
}

# 用urllib发送请求的时候 不能携带中文字样
data_new = urllib.parse.urlencode(data)
# TypeError: POST data should be bytes, an iterable of bytes, or a file object. It cannot be of type str.
# bytes_data = bytes(data, encoding='utf-8')#TypeError: encoding without a string argument
bytes_data = bytes(data_new, encoding='utf-8')
# 1、构造请求对象（post请求需要传递data）
res_obj = urllib.request.Request(url, headers=header, data=bytes_data)
# 2、发送请求 获取响应对象
response = urllib.request.urlopen(res_obj)
# 3、通过相应对象获取响应内容
result = response.read().decode('utf-8')
# print(type(result), result)
# 提取翻译结果
# json.loads()将字符串转换成字典
# json.dumps()将字典转换成字符串
trans_dict = json.loads(result)
# print(trans_dict)
trans2_dict = trans_dict['translateResult']
# print(trans2_dict)
trans3_dict = trans2_dict[0]
trans4_dict = trans3_dict[0]
# print(trans3_dict)
trans5_dict = trans4_dict['tgt']
print(trans5_dict)

总结

1、用urllib发送请求的时候 不能携带中文字样 如果有 需要用urllib.parse.urlencode()处理
data_new = urllib.parse.urlencode(data)
如果是发送的post请求 需要把携带的数据data转换为bytes 在转换的时候还要注意编码问题

2、目标url中的_o涉及到js逆向

3、把字符串转换为字典
import json

~ json.loads()将字符串转换成字典
~json.dumps()将字典转换成字符串
result是待转换的字符串，trans_dict是转换后的字典
trans_dict = json.loads(result)

猩猩文学
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
常用的http请求头以及响应头详解
weixin_45393981的博客
10-19 2496
一、常用的http请求头 1.Accept Accept: text/html 浏览器可以接受服务器回发的类型为 text/html。 Accept: / 代表浏览器可以处理所有类型,(一般浏览器发给服务器都是发这个)。 2.Accept-Encoding Accept-Encoding: gzip, deflate 浏览器申明自己接收的编码方法，通常指定压缩方法，是否支持压缩，支持什么压...
补充：Nginx之模块处理流程
06-04
1. **核心模块(Core Modules)**：这是Nginx的基础，负责建立服务器的基础服务框架，管理网络层和应用层的协议，以及启动和协调其他模块的工作。核心模块为Nginx提供了基本的服务模型，并确保了其他模块的正常运行。 ...
【无标题】
qq_28061887的博客
08-14 1136
360游览器使用百度引擎搜索出现awda?tn=62095104_17_oem_dg
联想电脑主页被修改为https://www.baidu.com/?tn=62095104_15_oem_dg，连接wifi的时候登录窗口打不开
热门推荐
Smithereens的学习笔记
11-12 2万+
最近遇到一个很烦的事情，有一次去星巴克的时候连接WIFI连不上，连上之后登录页面挑不出来，一开始以为是他家网络问题。后来发现了并不是打不开。而是因为登录页面打开后跳转成了https://www.baidu.com/?tn=62095104_15_oem_dg，然后因为没网络所以显示连接不上。 首先我是用了chrome浏览器，用浏览器本身的设置修改主页一点用都没有。改了之后还是这个百度页面。 有...
golang 将word转为pdf_java将html转为pdf
weixin_39928099的博客
11-22 581
将html转为pdf的组件有很多，但是还没有哪一款能达到这个效果，其只要原因是wkhtmltopdf使用webkit网页渲染引擎开发的用来将 html转成 pdf的工具，可以跟多种脚本语言进行集成来转换文档。但是就使用简便性来说还是itext等组件占据优势，如果你要转换格式有比较高的要求，那么wkhtmltopdf绝对是不二之选！下载路径官网地址 wkhtmltopdf.org/github地址 ...
Unity SKFramework框架（七）、WebRequester 网络请求模块
当代野生程序猿
05-18 1101
目录 一、WebInterface Profile 网络接口配置文件 1.创建网络接口配置文件 2.配置网络接口配置文件 3.配置文件的Resources资源路径 二、WebRequester 网络请求管理器 1.注册接口 2.回调函数 3.发起请求 4.注销接口 三、补充说明 1.GET 2.POST 一、WebInterface Profile 网络接口配置文件 1.创建网络接口配置文件 2.配置网络接口配置文件 在网上找了一个获取当前日期和时间的接口，我
鸿蒙【ArkTS】使用TS装饰器封装网络请求HTTP
weixin_60376559的博客
02-21 2613
在HarmonyOS应用开发中，通过HTTP访问网络，可以使用官方提供的@ohos.net.http模块。但是官方提供的直接使用不太好使用，需要封装下才好。这里采用TS的装饰器实现AOP效果 完成前后端接口风格的统一
网络编程补充
qq_43734041的博客
11-11 3097
网络编程补充1.认识2.Socket网络编程3.TCP通讯4.echo模型5.UDP6.UDP广播7.HTTP8.HTTP响应9.建立响应目录10.动态请求处理 1.认识 网络编程的核心功能就是 IO 操作 两台主机的通信要保证两点： 线路畅通 双方遵守协议 在进行网络程序开发的过程中一般都会考虑两种不同的开发模式: C/S模式(Client/Server—客户端/服务端架构) 需要编写两套不同的程序(客户端与服务端) 项目维护需要进行两套项目的维护，维护成本比较高 但是这种程序一般使用特定的协
python的网络请求
raquelle的记忆宫殿
11-06 2130
原文链接：https://www.jianshu.com/p/f05d33475c78 urllib是Python中请求url连接的官方标准库，在Python2中主要为urllib和urllib2，在Python3中整合成了urllib。 而urllib3则是增加了连接池等功能，两者互相都有补充的部分。 urllib urllib作为Python的标准库，基本上涵盖了基础的网络请求功能。 ...
易语言http数据类模块
08-17
3. 补全协议头：HTTP协议头是请求和响应消息的重要组成部分，该模块能自动生成或补充必要的HTTP头部信息，确保数据传输的规范性。 4. 解析数据_服务器：这部分功能用于接收来自客户端的HTTP请求，并对请求数据进行...
script类模块.rar
04-05
3. **网络通信**：实现网络请求、数据传输等功能。 4. **游戏逻辑**：在游戏开发中，Script类模块可以用于控制游戏规则、角色行为等。 5. **插件系统**：构建插件框架，允许用户编写自定义插件，增强软件功能。 ...
wangluo.rar_monitoring_性能监控_网络监控
09-22
【压缩包子文件的文件名称列表】中的 "chenjinxing_webhttp" 很可能是一个模块或文件夹，可能包含处理Web HTTP请求和响应的代码，这部分可能是整个网络监控系统中用于收集Web服务器性能数据的部分。HTTP是互联网上...
车载通信架构 - 传统车内通信网络LIN总线（低成本覆盖低速场景）.pdf
12-16
LIN总线适用于汽车中网络宽带、性能要求不高的模块，如车窗、天窗等模块。 在LIN总线通信方式中，所有节点都包含一个从任务（Slave Task），负责消息的发送和接收，主节点则还包含一个主任务（Master Task），负责...
TypeError: encoding without a string argument 无法解决
qq_47177203的博客
03-28 4771
v=Vector(range(7)) v=bytes(v,encoding='utf-8') **TypeError: encoding without a string argument** 先别管编码什么的！！！！！！！ 先看你传入的对象类行是不是Str，不是的话传入 str(obj) !!!
大模型微调工具-torchtune
weixin_40777649的博客
08-08 999
1.定义2.安装3. 案例。
NVIDIA-CUDA
qq_41081716的博客
08-08 440
CUDA 是一种强大的并行计算平台，它极大地扩展了 GPU 的用途，使其不仅仅局限于图形处理。通过利用 CUDA，开发人员可以编写高效、高性能的并行应用程序，这些应用程序可以用于各种计算密集型任务。如果您正在从事高性能计算或需要加速计算任务的工作，CUDA 是一个非常有用的工具。
Falsk测试与部署（第九阶段）
蜡笔小新星的博客
08-09 638
在本章节中，我们学习了如何使用unittest和pytest进行单元和集成测试，以及如何配置Flask应用，使用WSGI服务器部署，容器化Flask应用并将其部署到各种云服务平台。通过这些步骤，你可以确保你的Flask应用在生产环境中的稳定性和可靠性。希望这些知识能够帮助你在实际项目中更好地实现测试和部署。
《python语言程序设计》2018版第6章第42题Turtle：绘制sin函数，使用程序清单6-14中的函数简化5.52代码
最新发布
电饭叔
08-10 275
在output06th.py中的代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猩猩文学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值