爬虫基础篇之selenium登陆获取阿里腾讯cookie

最新推荐文章于 2024-04-10 22:44:01 发布
最新推荐文章于 2024-04-10 22:44:01 发布
阅读量1.5k 收藏 17
点赞数 4
分类专栏： 爬虫基础 文章标签： selenium
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/welggy/article/details/116273247
版权
本文介绍了如何使用selenium进行模拟登录，以获取阿里妈妈和腾讯的cookie。首先介绍了selenium在爬虫领域的应用，然后通过实战演示了在Alimama和Tencent的登录过程，包括账户密码输入、滑块验证、cookie保存等步骤。同时，文章还提到了如何处理selenium的特征检测问题，以及一些常用的操作如元素查找、鼠标操作等。
摘要由CSDN通过智能技术生成

简介

selenium本身是自动化测试框架，只是在爬虫领域更能够显示出其一把梭的威力，所有网站比如淘宝，微博等必须登录状态才能访问页面，对数据进行抓取时，逆向分析js将是一条不归路，而自动化测试框架selenium完全模拟人的行为模式，对网站按钮的点击，元素的获取，内容文本的输入有着得天独厚的优势。不过相对于逆向加密参数执行的爬虫程序来说，selenium还是太过效率低下了，常规套路一般是通过selenium拿到cookie或者token后，再通过爬虫程序去抓取页面，事半功倍。

Alimama实战

以阿里妈妈后台为例，通过分析我们拿到了请求json来自于https://pub.alimama.com/campaign/joinedSpecialCampaigns.json?toPage=1&status=2&perPageSize=40

不过单独访问该页面，会将我们地址重定向到登录界面，这种网站就必须我们登录再发起请求抓取数据了。

在这里插入图片描述

模拟登录

该登录页面是淘宝的统一登录框架&#

了解本专栏 订阅专栏 解锁全文 超级会员免费看
onejane
关注
专栏目录
订阅专栏
爬虫教程（ 5 ） --- Selenium 与 PhantomJS
墨鱼菜鸡
07-11 1378
1. Selenium 中式读法：【瑟林捏幕 】 Selenium( selenium 中文网：http://www.selenium.org.cn/ )是一个强大的网络数据采集工具，最初是为了网站自动化测试而开发的，被用来测试 Web 应用程序在不同的浏览器和操作系统上运行能力。 Selenium 不带浏览器，它需要与第三方浏览器结合在一起使用...
python自动读取邮件_Python操作selenium自动登陆阿里云邮箱，并自动翻页，获取每页邮件列表标题...
weixin_39707201的博客
12-02 857
#!/usr/bin/env python# -*- coding: utf-8 -*-from selenium import webdriverfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver....
php获取阿里妈妈网页,如何获得chrome浏览器中的阿里妈妈网站cookie？
weixin_42610671的博客
03-20 295
《如何获得chrome浏览器中的阿里妈妈网站cookie？》要点：本文介绍了如何获得chrome浏览器中的阿里妈妈网站cookie？，希望对您有用。如果有疑问，可以联系我们。如何取得浏览器中的cookie？1、打开阿里妈妈并登录2、按F12打开开发者工具，3、选network---doc---在“pub.alimama.com”中右击---copy---copy request headers4、...
如何使用Selenium处理Cookie，今天彻底学会了！_selenium获取cookies(1)
最新发布
2401_83739411的博客
04-10 3101
session是另一种记录客户状态的机制，不同的是cookie保存在客户端浏览器中，而session保存在服务器上。客户端浏览器访问服务器的时候，服务器把客户端信息以某种形式记录在服务器上。存储在服务器的数据会更加的安全，不容易被窃取。客户端浏览器再次访问时，只需要从该session中查找该客户的状态就可以了。如果说cookie机制是通过检查客户身上的“通行证”来确定客户身份的话，那么session机制就是通过检查服务器上的“客户明细表”来确认客户身份。
selenium中添加cookies的方法 python
西门大盗 捉虫专家
11-12 4081
driver = webdriver.Chrome() driver.get('https://www.tianyancha.com/company/256283648') #先不添加就请求一次 cookies = { 'TYCID': '71b12660d7f311e880d78365f0abdc98', 'undefined': '71...
python利用cookie爬淘宝数据
jidawanghao的专栏
08-31 495
import re import requests import pandas as pd import json import re import requests headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36', 'referer': 'https://w.
selenium腾讯滑块.zip
07-30
过腾讯滑块selenium源码缺口轮廓检测 对付腾讯滑块够用 该方法识别率 95% 左右
Ali1688爬虫实践（1）
dhd040805的博客
02-28 1102
我的想法是爬取1688上面的企业信息，最开始的思路是直接搜索商品通过selenium爬取，结果整出来的爬虫效率太低舍弃了，不过也把代码贴出来，以供参考，采用的是pyquery+beautifulsoup+selenium+MongoDB from selenium import webdriver from selenium.webdriver.support.wait import WebD...
拿到腾讯视频cookie
07-27
- *1* *2* *3* [爬虫基础篇之selenium登陆获取阿里腾讯cookie](https://blog.csdn.net/welggy/article/details/116273247)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":...
python爬虫编程实践4-大作业：用selenium爬取腾讯新闻的热点精选
weixin_44104450的博客
04-27 1256
1、任务目标 （1）了解ajax加载 （2）通过chrome的开发者工具，监控网络请求，并分析 （3）用selenium完成爬虫 （4）任务： 用selenium爬取https://news.qq.com/ 的热点精选 （5）目标：热点精选至少爬50个出来，存储成csv 每一行如下 标号（从1开始）,标题,链接,… 2、爬取腾讯新闻的热点精选（自己实现的代码） import time from ...
爬虫教程（ 1 ） --- 初级、基础、实践
墨鱼菜鸡
07-11 3022
爬虫教程：https://piaosanlang.gitbooks.io/spiders/content/ 如何入门 Python 爬虫：https://zhuanlan.zhihu.com/p/21479334 静觅 崔庆才的个人博客 Python 爬虫系列：http://cuiqingcai.com/category/technique/pyth...
python selenium某里国际站网站注册登录验证问题
野猫炫的博客
03-07 1071
python selenium某里国际站网站注册登录验证问题
c#爬虫-1688官网自动登录
Globalizationa的博客
03-09 1295
背景 在1688官网里面有很多信息是需要登录才能看得到的，比如商家的联系电话等等。那么我们在抓取它的网页的时候，肯定是需要维持登录状态才能得到对应的内容。这里面就会涉及到自动登录的问题。 登录地址 https://login.1688.com/member/signin.htm 自动登录方法 1、找到对应的元素，账号、密码框。 2、把账号、密码值带进去。 List<string> logininfolist = new List<string>(); .
淘客、阿里妈妈、淘宝联盟接口
热门推荐
骑着蚂蚁追大象的博客
08-19 3万+
1：获取商品详情H5页面接口   https://acs.m.taobao.com/h5/mtop.taobao.detail.getdetail/6.0/?data=%7B"itemNumId"%3A"10031645140"%7D&amp;qq-pf-to=pcqq.group   2：获取阿里妈妈后台订单详情的接口   https://pub.alimama.com/repo...
使用requests库爬取1688联系方式数据
qq_53917091的博客
10-26 756
菜
爬虫cookie获取神器——EditThisCookie并魔改
什么都会一点。
04-16 8161
目的：高效获取并且保存cookie 内容简介：1、使用EditThisCookieEditThisCookie是一个cookie管理器。可以添加，删除，编辑，搜索，保护，并阻止cookie等等操作，并且这个工具是开源的。 2、魔改源代码来实现更加高效的cookie保存。
selenium案例之RAM 用户登录 aliyun
box
08-21 699
selenium案例之RAM 用户登录 aliyun
阿里滑块模拟登录
qq_46078469的博客
10-11 1419
url https://login.aliexpress.com/ from selenium import webdriver import time #实现规避检测和实现无可视化界面 from selenium.webdriver import ChromeOptions #动作链 from selenium.webdriver import ActionChains url='https://login.aliexpress.com/' #实例化一个ChormeOptions对象，用此对象..
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

onejane

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值