selenium模拟登陆豆瓣并获取cookies

已于 2022-05-09 19:40:13 修改
阅读量7.2k 收藏 19
点赞数 5
分类专栏： python 爬虫 文章标签： python 爬虫 模拟登陆 selenium cookies
于 2018-05-14 21:43:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41666747/article/details/80315002
版权
python 同时被 2 个专栏收录
100 篇文章 13 订阅
订阅专栏
爬虫
14 篇文章 4 订阅
订阅专栏

 

验证码处理与模拟登陆豆瓣，首先我们看到豆瓣没有cookies，我们需要用程序来模拟登陆获取cookies（当前有些情况下自己手动登陆后复制粘贴cookies也能登陆），该文主要讲方法，如何用selenium模拟登陆获取cookies

1、输入用户名、密码点击登录，点击登录后跳转到另外一个验证码页面，并通过云打码进行验证码返回

2、验证码返回后输入后通过字典推导式获取每个domain中的name和value，即使cookies

打印获取的cookies

模拟登陆后获取的cookies和程序提取打印的cookies对吧，一模一样，就可以用程序携带该cookies进行访问

python爬虫人工智能大数据
关注
  • 5
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
使用Cookies登录网站--登录豆瓣网站
yangguangzhao666的博客
12-04 6921
使用Cookies登录网站–登录豆瓣网站 首先打开豆瓣的首页，输入用户名和密码并单击“登录豆瓣”，显示的结果验证打开的是已经登录的个人主页，说明已经成功地使用Cookies登录豆瓣网站并访问一些深层网页。 import requests cookie = 'll="131385"; ' \ 'bid=T6pEStc8Z8Y;' \ ' _vwo_uuid_v2...
模拟登陆--selenium模拟登陆CSDN获取cookies
python爬虫人工智能大数据
05-21 463
selenium模拟登陆CSDN获取cookies模拟登陆步骤：1、点击账号登陆按钮2、输入用户名、密码、点击登陆按钮1、通过by_xpath的class类名来查找账号登陆按钮（特别说明，find_element_by_xpath比find_element_by_class和by_id识别率要高很多，如果by_class和by_id等识别不到或者报错，就用by_xpath写法书写）2、模拟登陆获取...
菜鸟写Python-Selenium操作：Selenium登录豆瓣并获取cookies
第一段代码的博客
08-10 2635
一、背景 很多时候，我们在爬取数据时，有些页面的数据需要登录才能看到，因此需要登录再爬取数据。实现login再爬取的手段很多，但核心都是通过cookie的方式来记录身份信息，因此模拟登录的核心在于对cookie的使用（获取、保存和使用）。 二、模拟登录方法 1、通过分析登录页面，获取登录接口和提交表单进行登录验证（可以用简单的Request库结合cookielib方式或者Scrapy等） ...
保存及读取cookie文件登陆豆瓣网站
04-03
通过模拟登陆获取cookie， 保存到本地， 使用本地cookie登陆网站。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
使用插件快速获取cookies
最新发布
m0_73689941的博客
06-27 771
在使用需要用cookies的工具时，这个插件可以快速方便的获取cookies
谷歌浏览器获取cookies方法
weixin_46607513的博客
02-20 1万+
以爬取豆瓣短评为例，豆瓣短评在未登录的情况下只能爬取220条评论，然后就会403。我试过更换代理ip和headers都没用，但使用cookies登录可以解决这个问题。以下是获取cookies的步骤，获取后直接加在headers里面就好。 1.打开要爬取的网页 如果是爬取豆瓣短评，就打开对应的评论网页，在评论网页中获取cookie。注意这里如果打开的是豆瓣主页，后期爬虫时会遇见403。 2. 打开：右上角省略号→更多工具→开发人员工具 3. 找到“network”，然后ctrl+r...
python 爬虫登录获取数据_【爬虫】使用python登陆豆瓣，存储cookie，获取数据
weixin_39789690的博客
12-08 430
import requestsimport picklefrom bs4 import BeautifulSoup# 提交表单登录并获取cookiedef get_cookie_from_net():url = "https://accounts.douban.com/j/mobile/login/basic"# 构建表单payload = {'ck': '','name': '账号','pass...
爬虫实战【12】使用cookie登陆豆瓣电影以及获取单个电影的所有短评
weixin_30414305的博客
12-07 896
昨天我们已经实现了如何抓取豆瓣上的热门电影信息，虽然不多，只有几百，但是足够我们进行分析了。 今天我们来讲一下如何获取某一部电影的所有短评论信息，并保存到mongodb中。 反爬虫 豆瓣设置的反爬虫机制是比较简单的，我们可以通过selenium模拟浏览器登陆这种终极办法来绕过，但是更加有效率的方法是设置请求头信息的cookie，是豆瓣认为在访问的就是一个用户，而不是机器。 【插入图片，我的cook...
通过selenium来模拟登录，获取登录后的cookies
热门推荐
Feng______的专栏
02-08 1万+
需要登录的页面数据。 操作需要登录权限的资源。 Selenium webdriver 是一个用于web应用程序的自动化测试工具。 具有一系列的API来操作浏览器。 可以模拟用户操作页面元素。
C# 使用Selenium模拟浏览器获取CSDN博客内容
06-04
本篇将深入探讨如何利用C#和Selenium WebDriver模拟浏览器行为，特别是在获取CSDN博客内容方面的应用。 首先，Selenium是一个开源的自动化测试框架，它允许程序员用多种编程语言（包括C#）编写脚本来控制Web浏览器...
09-selenium+Chrome登陆豆瓣案例.py
05-05
09_selenium+Chrome登陆豆瓣案例.py09_selenium+Chrome登陆豆瓣案例.py09_selenium+Chrome登陆豆瓣案例.py09_selenium+Chrome登陆豆瓣案例.py09_selenium+Chrome登陆豆瓣案例.py09_selenium+Chrome登陆豆瓣案例.py09...
使用动态IP池+cookie爬取豆瓣豆瓣影评数据
10-14
使用动态IP池+cookie爬取豆瓣豆瓣影评数据
python编程使用selenium模拟登陆淘宝实例代码
09-20
### Python编程使用Selenium模拟登录淘宝实例解析 #### 一、Selenium简介 Selenium是一个强大的Web自动化测试框架，广泛应用于各种Web应用的功能性测试。它不仅免费而且跨平台兼容性强，支持多种编程语言（如Java...
利用selenium 3.7和python3添加cookie模拟登陆的实现
09-21
### 利用selenium 3.7和python3添加cookie模拟登陆的实现 #### 背景介绍 在进行Web自动化或爬虫开发时，经常会遇到需要登录网站的情况。特别是对于那些采用验证码验证用户身份的网站，频繁的手动登录不仅效率低下...
python+selenium模拟登陆CSDN源码
05-08
使用Selenium，我们可以模拟这个过程，自动填充表单并提交登录信息。 4. **Web元素定位**: 在Selenium中，我们使用XPath、CSS选择器或名称等方法来定位页面上的元素，如输入框和按钮。例如，我们可以用`find_...
selenium+PhantomJS爬取豆瓣读书
09-18
本文介绍了如何使用Selenium和PhantomJS工具来爬取豆瓣读书网站的相关信息。Selenium是一种用于Web应用程序测试的工具，它可以模拟浏览器中的用户行为，包括导航、点击按钮、填写表单等。PhantomJS是一个无头浏览器...
python爬虫 豆瓣影评的爬取cookies实现自动登录账号
weixin_46173586的博客
08-11 1735
python爬虫 豆瓣影评的爬取cookies实现自动登录账号 频繁的登录网页会让豆瓣锁定你的账号…… 网页请求 使用cookies来实现的自动登录账号，这里的cookies因为涉及到账号我屏蔽了，具体的cookies获取方法直接可以让浏览器实现自动登录后，在网页请求信息中自己找到。 def askURL(url): head = { "User-Agent": "Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(K
python3 selenium 登录douban,获取cookie
kong050kong的博客
04-02 1088
selenium登录豆瓣流程: 1. 进入豆瓣登录页面 2. 切换到**子框架**,定位**用户,密码**输入框. 并输入数据,再**定位登录**按键,点击登录. 3. 返回登录成功后的cookies, 4. 关闭驱动浏览器. 遇到的问题: 开始定位登录框总是失败. 程序报错 ==selenium.common.exceptions.NoSuchElementException: Messa...
Scrapy爬虫框架案例学习之四（使用中间件代理IP、更换请求头、添加cookie爬取豆瓣电影排行榜页面信息写进Excel文件）
u010152658的博客
07-16 1053
使用中间件代理IP、更换请求头、添加cookie爬取豆瓣电影排行榜页面信息写进Excel文件
用selenium模拟登录豆瓣
12-09
以下是使用selenium模拟登录豆瓣的步骤： ```python # 导入需要的模块 from selenium import webdriver import time # 创建浏览器对象，这里使用Chrome浏览器 browser = webdriver.Chrome() # 打开豆瓣登录页面 browser.get('https://accounts.douban.com/login') # 等待页面加载完成 time.sleep(1) # 输入账号和密码 browser.find_element_by_name('username').send_keys('your_username') browser.find_element_by_name('password').send_keys('your_password') # 点击登录按钮 browser.find_element_by_class_name('btn-submit').click() # 等待页面加载完成 time.sleep(1) # 打印登录后的页面标题 print(browser.title) # 关闭浏览器 browser.quit() ``` 需要注意的是，这里的`your_username`和`your_password`需要替换成你自己的豆瓣账号和密码。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值