Python学习之旅（核心编程爬虫篇003爬虫请求模块下）

最新推荐文章于 2024-02-21 20:52:36 发布

破空星

最新推荐文章于 2024-02-21 20:52:36 发布

阅读量765

点赞数

分类专栏： Python学习之旅爬虫篇

本文链接：https://blog.csdn.net/qq_36195536/article/details/113867894

版权

本文深入探讨Python爬虫的核心模块requests，包括安装、常用方法、POST请求、代理设置、session使用、cookie模拟登陆、SSL证书处理及源码分析。详细介绍了如何利用requests进行高效、安全的网络请求。

摘要由CSDN通过智能技术生成

Python核心编程爬虫篇2021.02.19

指导教师：逻辑教育讲师Jerry

requests模块使用

一、安装

需要先安装第三方库，常用cmd命令pip install requests，也可在编辑器pycharm中安装。

二、requests常用方法

requests.get('url')打开所爬取网址，并获取响应
响应对象response的方法
- response.content：直接抓取网站数据，返回字节数据，没进行编码和其它数据处理
- response.text：将字节数据解码成字符串（requests会自动选择解码方式，因此在使用response.text查看响应结果时会出现乱码）
- response.content.decode('utf-8')：手动进行解码（或response.encoding = 'utf-8'）
- response.url：返回爬取网站url

三、发送post请求

post和get的区别在于：get用来获取数据，post用来提交数据；get参数显示在请求地址中，post参数隐藏在FormData中

"""有道翻译
需要加date,所需在form data中
快速生成字典：
1.选中要转换的代码，ctrl+r，选中regex
2.源匹配为 (.*): (.*)$
3.替换匹配为 "$1": "$2"，点击replace或replace all
"""
import requests
import json

translate = input('请输入您要翻译的内容：')
headers = {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'
}
data = {
   
    "i": translate,
    "from": "AUTO",
    "to": "AUTO",
    "smartresult": "dict",
    "client": "fanyideskweb",
    "salt": "16148427191403",
    "sign": "8c68493fa2b13aeb859796d2299addb3",
    "lts": "1614842719140",
    "bv": "4a59f9fd3103a414dbd2b3d1b