关于python爬虫post请求

最新推荐文章于 2023-08-11 20:13:17 发布
最新推荐文章于 2023-08-11 20:13:17 发布
阅读量638 收藏 3
点赞数 1
分类专栏： python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lipachong/article/details/106575774
版权

今天搞爬虫代码，明明能找到post请求网址，以及请求需要带的参数，但是写到代码里就是不行
在这里插入图片描述
运行结果却出了问题
在这里插入图片描述
后面找到了问题
只需要将data数据json格式化一下
在这里插入图片描述
结果
在这里插入图片描述
完美收工

MengDiLI
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python爬虫post请求翻页_python爬虫如何POST request payload形式的请求
weixin_39682940的博客
11-30 1257
python爬虫如何POST request payload形式的请求1. 背景最近在爬取某个站点时，发现在POST数据时，使用的数据格式是request payload，有别于之前常见的 POST数据格式（Form data）。而使用Form data数据的提交方式时，无法提交成功。于是上网查了下二者的区别：http://xiaobaoqiu.github.io/blog/2014/09/04/...
python post请求参数错误_python爬虫 post请求 参数错误
weixin_36215894的博客
01-28 1146
[Python] 纯文本查看 复制代码#!/usr/bin/env python# -*- coding: utf-8 -*-import requestsdef test_request():url = "https://music.163.com/weapi/v3/song/detail?csrf_token="data = {'params': 'ahnzExy87UbcZItyr3W2m0...
python爬虫请求—post
05-11
以python为编程语言利用第三方模块requests，模拟浏览器登陆利用post方式。
python爬虫之post请求
IN_Joseph的博客
09-08 361
import requests import json import openpyxl url1 = 'https://a300010770.casmart.com.cn/shop/products' headers = {'content-type': 'application/json;charset=UTF-8', 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like G
python使用get和post方法_Python爬虫之GET和POST请求然后正确运用详解
weixin_39825259的博客
11-23 205
爬虫——GET请求和POST请求urllib.parse.urlencode()和urllib.parse.unquote()编码工作使用urllib.parse的urlencode()函数，帮我们将key:value这样的键值对转换成"key=value"这样的字符串，解码工作可以使用urllib的unquote()函数。# python3.5控制台中测试结果>>> import urllib>...
python post请求实例_Python爬虫的post请求简单实例
weixin_39688875的博客
11-30 177
登陆网页注册时用Python进行post请求，代码首先查看页面源代码，注意form表单部分，哪里是需要递交的表单信息运行代码import urllib.requestimport urllib.parseurl='http://www.iqianyue.com/mypost'postdata=urllib.parse.urlencode({'name':'chenkehk','pass':'316...
python爬虫学习-发送POST请求
编程小鹏的博客
12-06 2162
''' 发送POST请求 除了GET请求外，有时还需要发送一些编码为表单形式的数据，如在登入的时候请求就为POST， 因为如果用GET请求，密码就会显示在URL中，这是非常不安全的； 要实现POST请求，只需要简单地传递一个字典给Requests中的data参数，这个数据字典就会在发出请求的时候 自动编码为表单形式。 ''' import requests key_dict = {'key1': 'value1', 'key2': 'value2'} r = requests.post('http:/.
Python大数据之网络爬虫的post请求、get请求区别实例分析
09-18
了解了GET和POST请求的区别后，我们可以根据实际需求选择合适的请求方式来编写Python网络爬虫。在爬取过程中，还需要注意处理各种可能的反爬策略，如验证码、IP限制等。同时，要遵守网站的robots.txt规则，尊重网站...
python爬虫 urllib模块发起post请求过程解析
09-18
这个过程对于理解和实践Python爬虫中的POST请求至关重要，也是爬虫开发中的一项基础技能。在实际应用中，可能需要处理更复杂的请求头、cookies等，但基本的POST请求步骤是相似的。希望这个例子能帮助你更好地理解...
python 爬虫 POST请求
戴上微笑的博客
11-30 1755
import requests # 导入网络请求模块requests import json # 导入json模块 # 字典类型的表单参数 data = { '1': '能力是有限的，而努力是无限的。', '2': '星光不问赶路人，时光不负有心人。' } #发送网络请求 response = requests.post('http://httpbin.org/post', data=data) response_dict = json.loads(response.text)#将响应
Python爬虫——requests_post请求
错过人间飞鸿的博客
08-11 1007
equests_post请求
python爬虫之requests.post请求
weixin_45631151的博客
08-31 131
python爬虫之requests.post请求 请求百度翻译 代码： # -*- coding = utf-8 -*- # @Time : 2021/8/31 16:36 # @Software : PyCharm import requests url = 'https://fanyi.baidu.com/sug' s = input('请输入要翻译的单词： ') dat = { 'kw': s } respone = requests.post(url = url,data= dat)
Python爬虫中如何通过post发请求，浏览器控制台抓包教程，有道翻译爬虫程序，通过python伪装翻译（post案例）
ck784101777的博客
02-17 8361
目录 一、浏览器控制台抓包 1.打开方式以及常用选项 2.控制台NetWrok 二、Python爬虫中如何通过post发请求 1.Post请求 2.Python中使用post请求 三、有道翻译爬虫程序，通过python伪装翻译（post案例） 1.需求分析 2.post请求分析 3.js方法转python方法 4.程序设计 一、浏览器控制台抓包 在很多的工作中都是需要...
python爬虫post请求翻页_Python爬虫之post请求
weixin_40007515的博客
11-30 1071
暑假放假在家没什么事情做，所以在学习了爬虫，在这个博客园里整理记录一些学习的笔记。构建表单数据（以http://www.iqianyue.com/mypost 这个简单的网页为例）查看源代码，发现name属性值为“name”，密码对应的输入框中，name属性值为“pass”。因此构建表单的数据中要包含两个字段，字段名为“name”，“pass”，字段值设置成对应的需要传递的值。格式为字典：{字段名...
爬虫中的post请求
jerry的博客
01-28 7072
post请求和get请求都是客户端对浏览器发送的请求，但是post请求的特殊之处在于，它不会把参数直接放在url中，它的参数是隐藏起来的 以百度翻译为例，首先找到执行翻译的post请求的url地址： 此时在页面输入spider进行查询，下面的network会刷新很多信息，我们对其进行一一检查，首先过滤掉后缀为jpg和png的文件，它们是图片，肯定不能进行翻译。 那么找到几个差不多的，点开看一下： 在preview中可以看到查询结果是：蜘蛛 那么headers中的url地址就是我们需要的url： 可
爬虫----POST 请求
weixin_45228198的博客
04-26 4309
POST请求场景案例分析三级目录 场景 需要使用Form表单提交数据的请求。 import requests headers = {"UserAgent":"xxx"} data = {"user":"lauf","pw":"123"} res = requests.post(url,headers=headers,data=data) 案例分析 https://fanyi.youdao.com/ 输入要翻译的中文，会返回英文 F12 开发者模式/右键-检查 三级目录 ...
初探python爬虫（二）——POST请求
HadwinLing
02-06 297
import requests import json #定义请求的url url = 'https://fanyi.baidu.com/sug' #定义请求头信息 headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chro...
Python爬取Post请求
Yuke213的博客
06-23 2272
一个很简单的信息公示网站上面的新闻。 请求方式是Post，参数信息直接去网站上面请求一次，然后复制过来就行了。 数据解析用了BeautifulSoup4框架，根据属性搜索相应的属性，简简单单 from bs4 import BeautifulSoup import requests allNewsUrl = [] pattern = "http.*html" allInfo = [] class Info: projName = "" # 项目名字 companyName = ""
python爬虫之requests库post请求
热门推荐
naer_chongya的博客
05-27 2万+
在使用 requests 库进行网页数据爬取时，我们常常会选择使用 get 请求，比如直接访问一个 url，获取页面源代码来进行进一步处理。但有时候这种方式会因为需要登录、表单数据提交等原因失效。这时候，就需要使用 post 请求了。Post 请求通常用于向服务器提交一些数据，比如用户名密码等敏感信息，一般来说，Get请求用来获取数据，Post 请求用来提交数据。
python爬虫post请求
最新发布
08-24
要使用Python进行POST请求的爬虫，你可以使用`requests`库。下面是一个简单的示例代码： ```python import requests # 构造POST请求的参数 data = { 'username': 'myusername', 'password': 'mypassword' } # 发送POST请求 response = requests.post('http://example.com/login', data=data) # 获取响应内容 print(response.text) ``` 在上面的示例中，我们使用`requests.post()`方法发送了一个POST请求到`http://example.com/login`网址，并将用户名和密码作为POST参数传递给服务器。你可以根据自己的需求修改URL和参数。最后，通过`response.text`属性获取服务器返回的响应内容。 当然，实际的爬虫任务可能更加复杂，可能需要处理Cookie、Headers等。但是以上代码提供了一个基本的框架，你可以根据自己的需求进行修改和扩展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值