记录爬虫requests登陆豆瓣

最新推荐文章于 2021-10-14 23:10:20 发布
最新推荐文章于 2021-10-14 23:10:20 发布
阅读量967 收藏 6
点赞数 5
分类专栏： request模块使用 文章标签： python post
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012730774/article/details/106929815
版权

记录爬虫requests登陆豆瓣

遇到问题，使用正常的requests.post()进行传参返回结果报错

报错打印{“status”:“failed”,“message”:“parameter_missing”,“description”:“参数缺失”,“payload”:{}}

经过https://fishc.com.cn/thread-169934-1-1.html指引，知道是要新建session，再进行一次get请求才能进行post传参。

#coding = utf-8
import requests

douban_url = 'https://accounts.douban.com/j/mobile/login/basic'

user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.45 Safari/537.36 Edg/84.0.522.20'
header = {
最低0.47元/天 解锁文章
好boy
关注
  • 5
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
requests获取豆瓣
m0_51419234的博客
05-16 293
使用Requests爬取豆瓣欢迎使用visual studio2019编辑器前言一、requests是什么？二、使用步骤1.引入库2.获取网页总结 欢迎使用visual studio2019编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录欢迎使用visual studio2019编辑器前言一、req
数据采集（五）：用requests模拟登陆豆瓣
czl389的专栏
07-20 1294
导入需要的库# -*- encoding:utf-8 -*- import urllib2 import urllib import re import cookielib import requests import cStringIO from PIL import Image定义登录url 表单信息 HTTP头在登录页面上输入你的豆瓣账号，点击登录。这个过程会以post的
python爬取豆瓣电影(requests模块)
12-22
python使用requests模块请求网址，使用lxml模块中etree抓取数据，并使用time模块延时 爬取的页面为： 运行结果如下图所示： python代码如下： 在这里插入代码片 # _*_ coding:utf _*_ # 邮箱：3195841740@qq.com # 人员：21292 # 日期：2020/3/8 11:05 # 工具：PyCharm import requests from lxml import etree import re import time headers = { 'Cookie': 'll="118375"; bid=LweMDRu6xy0; __
requests模拟登录豆瓣
Stealth_pain的博客
02-06 2102
首先打开豆瓣官网，并打开 chrome 的开发者工具，选中 network 选项卡，然后选中 preserve log 选项，这样在跳转页面的时候就不会刷掉之前的请求。不然登录之后处理登录的请求就会被刷新掉从而无法获取。当然，这里也有一个更方便的方法，就是在输入密码的时候输错一位(当然，全部输错也可以)，然后发现一个 basic 请求，打开这个请求的详细信息，发现这是一个 POST 请求，也就是处...
爬虫学习之01-request模块爬取豆瓣电影
指尖魔法师
05-27 573
""" 获取豆ban电影中的电影:https://movie.****.com/ 代码仅供学习 date:2020-05-23 """ import requests if __name__ == '__main__': start = input('输入数字(从第几部电影开始取,0开始):') limit = input('输入数字(一次获取几部电影):') # 1.指定URL url = 'https://movie.****.com/j.
python爬虫-爬取豆瓣音乐
05-30
通过以上步骤，我们可以实现一个基础的Python爬虫，爬取豆瓣音乐的相关信息，如歌曲名称、歌手、评分等。但要注意，爬虫技术的运用应当遵循合法、合规的原则，尊重网站的使用条款，同时不断提高爬虫的效率和灵活性，...
python豆瓣电影爬虫
04-15
**Python 豆瓣电影爬虫** Python 是一种流行的编程语言，因其简洁的语法和强大的功能在数据分析、网络爬虫领域被广泛使用。本项目旨在利用Python构建一个爬虫，爬取豆瓣电影Top250的电影信息，包括电影名称、评分、...
爬虫爬取豆瓣电影TOP250源代码
06-04
每部电影的信息作为一条记录插入到表中。 5. **迭代页面**：豆瓣电影TOP250可能分多页展示，需要循环请求每一页，直到获取所有电影的信息。 6. **关闭连接**：完成数据存储后，记得关闭数据库连接。 在`pcsj.py`...
基于python-requests库的豆瓣影评爬虫demo
最新发布
06-27
User-Agent设置：为了模拟浏览器发送请求，我们设置了User-Agent头部，这是一种常见的做法，有助于避免被网站识别为爬虫。 页面解析：示例中使用了Beautiful Soup库来解析HTML内容，根据具体网页结构，你可能需要...
豆瓣爬虫租房.zip
03-01
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的...
Requests实战小案例----豆瓣
那个她，的博客
04-01 188
今天我们看一下如何爬取豆瓣的电影信息。 首先我们打开豆瓣电影的网页，这里我随便一个分类。 这里我们看到页面中只有这20个电影，点击加载更多会继续向服务器发送请求然后返回数据。 话不多说，开发者工具看走一走。 这里我们点击“加载更多”会发送这样一个请求。 我们可以从这个请求中发现哪些我们需要的内容呢？ 1.Request Url 2.数据类型 3.传递的参数 ok，需要的东西我们都找到了，接...
requests模块爬取豆瓣2020-top250
weixin_43896364的博客
10-14 231
挺简陋的一个爬虫，没有爬取图片，只是排名和电影名称等基本信息，代码量很少 import re import requests import csv """ 豆瓣top250为静态网页，爬取较为简单，关键在于正则匹配字符串要写对 """ def get_content(target): # 必要的ua头，一般网站都对ua头有检测，常见的反爬机制 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64;
今天一起来爬豆瓣 （爬取豆瓣电影 + selenium模拟豆瓣登陆）
若尘的博客
04-06 2554
爬取豆瓣电影、selenium模拟豆瓣登陆
python爬虫模拟登陆豆瓣_python3 scrapy模拟登陆豆瓣失败？
weixin_33603405的博客
01-14 322
我给你改成了这样，你试试# spider.pyimport scrapyimport urllibfrom scrapy import Requestclass DbSpider(scrapy.Spider):name = 'db'allowed_domains = ['douban.com']#start_urls = ['http://douban.com/']def start_reques...
Python爬取豆瓣电影信息遇到的问题
weixin_47497423的博客
07-04 2303
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
遇到爬虫问题报错求解~~~
Thankyou_Ningren的博客
08-21 219
import requests import json if __name__ == "__main__": url = 'https://movie.douban.com/typerank' param = { 'action':' ', 'interval_id':' 100:90', 'limit':' 20', 'start':'1', #从豆瓣库中第几部电影开始选取
Python爬虫入门 | 7 分类爬取豆瓣电影，解决动态加载问题
DataCastle
12-15 9490
比如我们今天的案例，豆瓣电影分类页面。根本没有什么翻页，需要点击“加载更多”新的电影信息，前面的黑科技瞬间被秒……  又比如知乎关注的人列表页面：  我复制了其中两个人昵称的 xpath：//*[@id="Popover-35130-11238-toggle"]/a //*[@id="Popover-35130-42416-toggle"]/a竟然需要 ID 这种恶心的东西，规律失效。  我们
python爬虫登录豆瓣（一）
unique 的博客
10-12 899
使用 requests 库 通过使用 chrome 浏览器抓包，可以得到这个请求，将其中的 headers 和 data 提交。最后输出到 douban.html 的文件中，即可查看登录的界面。这次请求是第一次登录，所有界面为提示修改个人信息。 import requestsurl = "https://accounts.douban.com/login" data = {"source": "
豆瓣图书排名爬虫requests,beautifulsoup
05-16
豆瓣图书排名爬虫通常使用requests和BeautifulSoup两个库。requests库是Python的HTTP库，可用于向豆瓣网站服务器发送请求并获取数据。BeautifulSoup是Python的HTML解析库，可用于将请求获取到的HTML页面进行解析和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值