python爬虫requests模块基础

最新推荐文章于 2024-08-24 16:34:12 发布
最新推荐文章于 2024-08-24 16:34:12 发布
阅读量286 收藏
点赞数
分类专栏： python爬虫笔记 文章标签： python post
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/enginebrkalsy/article/details/115843199
版权
本文介绍了Python爬虫中requests模块的基础使用，包括GET和POST请求的实现。在GET请求中，讨论了urllib爬取贴吧的三种方法：直接写、函数def形式和类方法。在POST请求部分，讲解了如何处理data数据为bytes类型以避免错误，以及解决乱码问题的两种方法。最后给出了完整requests方式爬取的代码示例。
摘要由CSDN通过智能技术生成

get请求

在这里插入图片描述

urllib爬取贴吧

在这里插入图片描述

方法一：直接写

import urllib.request
import urllib.parse
# 贴吧主题
name =input('请输入要爬取的贴吧名：')
begin =int(input('请输入要爬取的起始页：'))
end =int(input('请输入要爬取的终止页：'))
headers ={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}
# 对name处理 转换
kw ={'kw':name}
# 两种都可
# result =urllib.parse.quote(kw)
result = urllib.parse.urlencode(kw)

# 页数循环:range前闭后开，要+1
for i in range(begin,end+1):
    pn = (i - 1) * 50
    # print(pn)
# 拼接url
    base_url ='https://tieba.baidu.com/f?'
    url = base_url + result + "&pn=" + str(pn)
    print(url)

在这里插入图片描述

import urllib.request
import urllib.parse
# 贴吧主题
name =input('请输入要爬取的贴吧名：')
begin =int(input('请输入要爬取的起始页：'))
end =int(input('请输入要爬取的终止页：'))
headers ={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}
# 对name处理 转换
kw ={'kw':name}
# 两种都可
# result =urllib.parse.quote(kw)
result = urllib.parse.urlencode(kw)

# 页数循环:range前闭后开，要+1
for i in range(begin,end+1):
    pn = (i - 1) * 50
    # print(pn)
# 拼接url
    base_url = 'https://tieba.baidu.com/f?'
    url = base_url + result + "&pn=" + str(pn)
    # print(url)
    # 发起请求
    req = urllib.request.Request(url, headers=headers)
    res = urllib.request.urlopen(req)
    html = res.read().decode('utf-8')
    # 保存数据
    filename = "第" + str(i) + "页.html"
    with open(filename,"w",encoding='utf-8') as f:
        print('正在爬取第 %d 页'% i)
        f.write(html)

结果：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

方法二：函数def形式写

基本架构

在这里插入图片描述

import urllib.request
import urllib.parse
# 读取页面
def readPage(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}
    req = urllib.request.Request(url,headers=headers)
    res = urllib.request.urlopen(req)
    html = res.read().decode('utf-8')
    return html

# 写入数据
def writePage(filename , html):
    with open(filename,"w",encoding='utf-8') as f:
        f.write(html)
        print('爬取成功')

# 主函数
def main():
    name =input('请输入爬取贴吧主题名')
    begin =int(input('请输入爬取起始页'))
    end = int(input('请输入爬取结束页'))
    kw ={'kw':name}
    result =urllib.parse.urlencode(kw)
    for i in range(begin,end+1):
        pn =(i -1) * 50
        base_url = 'https://tieba.baidu.com/f?'
        url = base_url + result + "&pn=" + str(pn)
        # 调用函数
        html = readPage(url)
        filename ='第' + str(i) + "页.html"
        writePage(filename,html)

if __name__ == '__main__':
    main()

在这里插入图片描述
在这里插入图片描述

方法三：类方法写

import urllib.request
import urllib.parse


class BaiduSpider:
    def __init__(self):
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}
        self.base_url ='https://tieba.baidu.com/f?'


    def readPage(self,url,):
        req = urllib.request.Request(url, headers=self.headers)
        res = urllib.request.urlopen(req)
        html = res.read().decode('utf-8')
        return html

    def writePage(self,filename,html):
        with open(filename,"w",encoding='utf-8') as f:
            f.write(html)
            print('爬取成功')

    def main(self):
        name = input('请输入爬取贴吧主题名')
        begin =int(input('请输入爬取起始页'))
        end = int(input('请输入爬取结束页'))
        kw ={'kw':name}
        result = urllib.parse.urlencode(kw)
        for i in range(begin,end+1):
            pn =(i -1) * 50
            url = self.base_url + result + "&pn=" + str(pn)
            html =self.readPage(url)
            filename ='第' + str(i) + '页.html'
            self.writePage(filename,html)


if __name__ == '__main__':
    spider = BaiduSpider()
    spider.main()

在这里插入图片描述
在这里插入图片描述

Post方式

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

import urllib.request
import urllib.parse

# 输入内容
content = input('请输入你要翻译的句子')
# URL
# https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule
# 获取form data数据
data = {'i': content,
        'from': 'AUTO',
        'to': 'AUTO',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'salt': '16187688635891',
        'sign': 'f7858bb42fe7c52e6821a15831c2915e',
        'lts': '1618768863589',
        'bv': '3d91b10fc349bc3307882f133fbc312a',
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTlME'}
data = urllib.parse.urlencode(data)
url = 'https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}
req = urllib.request.Request(url,headers=headers,data=data)
res = urllib.request.urlopen(req)
html = res.read().decode('utf-8')
print(html)

在这里插入图片描述

解决方式：使data数据类型为bytes字节
# 获取form data数据
data = {'i': content,
        'from': 'AUTO',
        'to': 'AUTO',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'salt': '16187688635891',
        'sign': 'f7858bb42fe7c52e6821a15831c2915e',
        'lts': '1618768863589',
        'bv': '3d91b10fc349bc3307882f133fbc312a',
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTlME'}
data = urllib.parse.urlencode(data)
data =bytes(data,'utf-8')

仍出错：

在这里插入图片描述

解决：去掉_o——后续js解密再说

在这里插入图片描述

结果：

在这里插入图片描述

字符串转化字典 json.load

在这里插入图片描述
在这里插入图片描述

拿到字典后需要直接取出翻译的数据：

在这里插入图片描述

r =r_dict['translateResult'] #[[{'src': '你好', 'tgt': 'hello'}],123,456]第0项，第一项，第二项......
result1 =r[0][0]['tgt'] #[{'src': '你好', 'tgt': 'hello'}]→{'src': '你好', 'tgt': 'hello'}→'hello'
print(result1)

总体代码：

import urllib.request
import urllib.parse
import json

# 输入内容
content = input('请输入你要翻译的句子')
# URL
# https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule
# 获取form data数据
data = {'i': content,
        'from': 'AUTO',
        'to': 'AUTO',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'salt': '16187688635891',
        'sign': 'f7858bb42fe7c52e6821a15831c2915e',
        'lts': '1618768863589',
        'bv': '3d91b10fc349bc3307882f133fbc312a',
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTlME'}
data = urllib.parse.urlencode(data)
data =bytes(data,'utf-8')
url = 'https://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}
req = urllib.request.Request(url,headers=headers,data=data)
res = urllib.request.urlopen(req)
html = res.read().decode('utf-8')
# print(html,type(html))
r_dict = json.loads(html)
# print(r_dict,type(r_dict))
r =r_dict['translateResult'] #[[{'src': '你好', 'tgt': 'hello'}],123,456]第0项，第一项，第二项......
result1 =r[0][0]['tgt'] #[{'src': '你好', 'tgt': 'hello'}]→{'src': '你好', 'tgt': 'hello'}→'hello'
print(result1)

在这里插入图片描述

requests方式爬取

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}

# 发起请求获得响应 <Response [200]>
res = requests.get('https://www.yuque.com/books/share/6c1173d1-0b5c-461e-a389-06392f698852/aqvx0r')
# print(res)
# 直接读取
print(res.text)

在这里插入图片描述
在这里插入图片描述

问题：直接res.text会出现乱码

解决1：res.content.decode（‘utf-8’)

在这里插入图片描述

解决2：res.encoding =‘utf-8’，再print（res.text）

在这里插入图片描述

# 直接读取
# print(res.text) # 字符串数据 文本 有乱码
# print(res.content) # 字节流数据 图片、视频、音频
print(res.content.decode('utf-8')) # 方法一
res.encoding ='utf-8' # 方法二
print(res.text)

完整代码：

import requests
import json

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}
# 获取form data数据
content = input('请输入你要翻译的句子')
data = {'i': content,
        'from': 'AUTO',
        'to': 'AUTO',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'salt': '16187688635891',
        'sign': 'f7858bb42fe7c52e6821a15831c2915e',
        'lts': '1618768863589',
        'bv': '3d91b10fc349bc3307882f133fbc312a',
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTlME'}
url = 'https://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
res =requests.post(url,data=data,headers=headers)
html =res.text
# print(html)
r =json.loads(html)
r =r['translateResult']
r1 =r[0][0]['tgt']
print(r1)

在这里插入图片描述

brkalsy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python中requests库
既然选择远方，便只顾风雨兼程！
02-28 5万+
文章目录requests库一、 基本概念1、 简介2、 获取3、 http 协议3.1 URL3.2 常用 http 请求方法二、 使用方法1、 基本语法requests 库中的方法2、 具体使用方法2.1 get2.1.1 基本语法2.1.2 常用参数2.2 post2.2.1 基本语法2.2.2 常用参数2.3 response2.4 **head**2.4.1 基本语法2.5 put requests库 一、 基本概念 1、 简介 requests 模块是 python 基于 urllib，采用 A
Python爬虫requests模块的cookie处理 五(1)
m0_64010473的博客
07-09 565
requests模块的cookie处理 http/https协议特性:无状态没有请求到对应个人主页页面数据的原因:发起的第二次基于页面请求的时候,服务器端不知道该次请求是基于登陆状态下的请求.cookie:用来让服务器端记录客户端的相关状态.----手动处理:通过抓包工具获取cookie值,将该值封装到headers中(不建议)----自动处理:--创建一个session对象:requests.Session()--使用session进行模拟登陆post请求上午发送(cooki会被存储在session
Python requests 模块
unber的博客
07-29 790
Python 内置了 requests 模块，该模块主要用来发 送 HTTP 请求，requests 模块比 urllib 模块更简洁。
Python-request库的详细解析
xycxycooo的博客
07-16 1883
requests库支持自定义身份验证。我们可以通过继承类来实现自定义的身份验证逻辑。requests库允许我们自定义适配器，以实现更复杂的请求逻辑。我们可以通过继承类来实现自定义的适配器。
python——requests
最新发布
pumpkin84514的博客
08-24 1559
requestsrequests库简化了HTTP请求的发送和处理。支持多种HTTP方法及高级功能，如会话、SSL验证、超时等。在数据采集和爬虫中非常实用，尤其适合初学者快速上手。
Python-Requests
weixin_45203607的博客
10-19 661
requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多，requests 允许你发送 HTTP/1.1 请求。免责声明：本文部分素材来源于网络，版权归原创者所有，如存在文章/图片/音视频等使用不当的情况，请随时私信联系我、以迅速采取适当措施，避免给双方造成不必要的经济损失。每次调用 requests 请求之后，会返回一个 response 对象，该对象包含了具体的响应信息。在本博客学习的技术不得以任何方式直接或者间接的从事违反中华人民共和国法律,内容仅供学习、交流与参考。
python---requests
xuqi7
05-23 594
一些关于requests的使用，基本上把官方说明文档的简单用法搬了过来
python爬虫requests库入门基础
06-06
### Python爬虫requests库入门基础 #### Requests模块安装与简介 - **安装**: 使用Python的包管理工具pip来安装requests库。在命令行输入以下命令即可完成安装：`pip install requests`。 - **模块简介**: ...
python 爬虫请求模块requests详解
12-16
初级爬虫的开始主要是使用requests模块 安装requests模块： Windows系统： cmd中： pip install requests mac系统中： 终端中： pip3 install requests requests库的基本使用 import requests url = '...
python爬虫 基于requests模块的get请求实现详解
09-18
本文将深入讲解基于requests模块的GET请求在Python爬虫中的实现。 首先，requests是一个强大的Python库，用于发送HTTP/1.1请求。在Python爬虫中，最常用的操作就是发起GET请求来获取网页内容。以下是一个简单的例子...
python爬虫 基于requests模块发起ajax的get请求实现解析
09-18
Python爬虫之所以受欢迎，是因为它有着强大的库支持，例如requests模块、BeautifulSoup库、Scrapy框架等，它们提供了简单易用的API接口，能够方便地处理网络请求和HTML文档解析。 ### requests模块简介 requests...
python requests官方中文文档（ 高级用法 Requests 2.18.1 文档 ）
08-13
python requests官方中文文档，进阶用法。本文档覆盖了requests库的一些高级特性
python接口篇-Requests
清微的博客
04-09 5143
python接口篇-Requests
python的requests模块功能_python-Requests模块的使用
weixin_39738152的博客
11-24 217
1. Requests简介Requests模块是一个用于网络访问的模块，其实类似的模块有很多，比如urllib，urllib2，httplib，httplib2，他们基本都提供相似的功能，那为什么Requests模块就能够脱引而出呢？可以打开它的官网看一下，是一个“人类“用的http模块。那么，它究竟怎样的人性化呢？相信如果你之前用过urllib之类的模块的话，对比下就会发现它确实很人性化。2.安...
python爬虫--requests简介
Abtxr的博客
02-06 4369
一文带你初步了解python爬虫的requests模块（适合新手上路的爬虫学习er）
python requests模块
HuanBianCheng27的博客
05-15 881
将cookieJar转成cookies字典：cookies_dict=requests.utils.dict_from_cookieJar(response.cookies)session实例请求一个网站之后，对方服务器设置在本地的cookie会保存在session中，下一次再使用session请求对方服务器的时候，会带上前一次的cookie。● response.request.cookies 响应对应请求的cookie;● response.request.headers 响应对应的请求头。
python-requests库（爬虫）
BugEveryday的博客
06-08 1302
网页数据获取有python自带的urllib，也有第三方库requests。
python WEB接口自动化测试之requests库详解_requests
2401_85599316的博客
06-24 733
如果数据是英文字母/数字，原样发送，如果是空格，转换为+，如果是中文/其他字符，则直接把字符串用BASE64加密，得出如：%E4%BD%A0%E5%A5%BD，其中％XX中的XX为该符号以 16进制表示的ASCII。http://httpbin.org/get），服务器处理数据后，会返回一个response对象，通过读取response对象的属性值，如json数据，可以做一系列的断言，从而验证该接口返回的数据是否正确。用fiddler抓包，可以看到，发送请求的请求头中的user-agent的值为设置的值。
Python-Requests模块详解
weixin_44257023的博客
08-01 486
Requests模块是Python中最简单易用的HTTP客户端库,可以极大简化发送HTTP请求的代码
Python爬虫基础：requests模块与HTTP请求详解
Python爬虫之requests的使用涵盖了爬虫的基础知识、HTTP协议的理解以及requests库的实战应用，对于初学者来说是很好的入门教程。通过学习这部分内容，开发者能够理解爬虫的基本原理，并具备使用requests进行简单网络...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值