爬虫中requests模块发送post请求

思考:哪些地方我们会用到post请求

  1. 登录注册(post请求比get更安全,url地址中不会暴露用户的账号密码等信息)
  2. 需要传输大文本内容的时候(post请求对数据长度没有要求

1.1 requests发送post请求的方法(与get请求类似)

  • response = requests.post(url, data)
  • data参数接收一个字典
  • requests模块发送post请求函数的其他参数和发送get请求的参数完全一致

1.2 post请求练习

以汉译英百度在线翻译为例:

地址:百度翻译-200种语言互译、沟通全世界!

思路:

        1.进入网页抓包确定请求URL地址

        2.确定请求的参数

        3.确定返回数据的位置

        4.模拟浏览器获取数据

1.2.1 抓包分析的结论

1. url地址:https://fanyi.baidu.com/sug

2. 请求方法:post

3. 请求所需参数:kw: 汉语

4.User-Agent

1.2.2 代码实现(写成了面向对象的形式)

代码:

import requests
import json


class King(object):

    def __init__(self, word_):
        self.url = 'https://fanyi.baidu.com/sug'
        self.headers = {
            'User-Agent': '改为你的user-agent'
        }
        self.data = {
            'kw': word_
        }

    def get_data(self):
        response = requests.post(self.url, data=self.data, headers=self.headers)
        return response.content

    def parse_data(self, data):
        # loads方法将json字符串转换成python字典
        dict_data = json.loads(data)
        print(dict_data['data'][0]['v'])

    def run(self):
        # 编写爬虫逻辑

        # url
        # headers
        # data字典
        # 发送请求获取响应
        response = self.get_data()
        self.parse_data(response)
        # 数据解析


if __name__ == '__main__':
    while True:
        word = input('请输入你要翻译的词(退出输入0):')
        if word == '0':
            break
        a = King(word_=word)
        a.run()

运行结果示例:

  • 4
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值