python爬虫遇到的坑1——关于urllib.request.Request中的data参数

最新推荐文章于 2024-01-06 11:07:32 发布

qq_43654105

最新推荐文章于 2024-01-06 11:07:32 发布

阅读量1.8k

点赞数 1

分类专栏： python 爬虫文章标签： python

本文链接：https://blog.csdn.net/qq_43654105/article/details/112392161

版权

本文讲述了在使用Python爬虫时遇到的一个问题，即在使用urllib.request.Request时错误地添加了data参数导致报错。原因是data参数用于提交表单数据，而非传递如'offset=30'这样的参数。解决方案是通过直接拼接URL来传递参数，同时注意使用urlencode对参数进行编码，确保数据以bytes二进制格式传递，以避免POST请求失败。

摘要由CSDN通过智能技术生成

今天在写爬虫的时候死活运行不了

import urllib.request
import urllib.parse

#自定义页码
page = int(input('请输入页码：'))
if page < 1:
    print('页码输入错误，请输入大于等于1的数字')

#网页URL
url = 'https://maoyan.com/films?showType=3&'
headers = {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88     Safari/537.36'
}

P = (page - 1) * 30

data = {
   
    'offset': P
}

#data转化为电脑能识别的二进制格式
data = urllib.parse.urlencode(data)