使用Scrapy-Splash实现淘宝免密登录

最新推荐文章于 2023-09-12 14:23:33 发布
最新推荐文章于 2023-09-12 14:23:33 发布
阅读量1.2k 收藏 4
点赞数 1
文章标签： Scrapy-Splash cookies免密登录 Scrapy对接Splash
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/show_rain/article/details/100036539
版权
本文介绍了如何使用Scrapy-Splash来绕过淘宝的反爬机制，通过预先获取cookies并存储，然后在爬虫中读取cookies进行免密登录爬取。核心代码包括设置start_requests读取本地cookies，构造 SplashRequest 并传入LUA脚本。相较于Scrapy对接Selenium，Scrapy-Splash能提高爬取速度，但频繁爬取可能引发封禁，建议配合代理和cookies池使用。
摘要由CSDN通过智能技术生成

使用Scrapy-Splash实现淘宝免密登录：

众所周知，淘宝的反爬能力较强，笔者试过屏蔽浏览器webdriver但效果不佳，因此另辟蹊径采取cookies免密登录爬取淘宝信息。

创建爬虫后核心代码如下：

    def get_cookies(self,fp):
        with open(fp,"r") as f:
            cookies = json.load(f)
        for cookie in cookies:
            if "expiry" in cookie.keys():
                cookie.pop("expiry")
        return cookies

	def start_requests(self)
最低0.47元/天 解锁文章
Show_Rain
关注
Scrapy-Splash爬取淘宝排行榜（二）
qq_23849183的博客
04-30 4839
四 开始爬取1.首先分析淘宝排行榜的设置。在这里，商品被分为服饰，数码家电，化妆品，母婴，食品，文体，家具，车|玩具|宠物。而点开每个大类，又可以看到商品被分为很多小类。点开任意小类，往下拉就可以看到该类商品的排行信息，包括销售上升榜，销售热门榜等等。这里我只爬取销售热门榜的内容，所以继续点击销售热门榜的标签。可以看到在这里列出了该类前二十的商品。信息包括：排名，关键词，参考价，成交指数，升降位次。
Scrapy-Splash爬取淘宝排行榜（三）
qq_23849183的博客
04-30 4425
五 写spider1.知道了要爬取的内容，所以，我们首先在start_urls中设置如下： start_urls=['https://top.taobao.com/index.php?topId=TR_FS&leafId=50010850','https://top.taobao.com/index.php?topId=TR_SM&leafId=1101','https://top.taoba
淘宝模拟登陆
12-03
利用python3以及scrapy爬虫框架编写的淘宝模拟登陆抓取店铺后台数据的一个项目。其中最主要的就是解决了淘宝的模拟登陆问题，为后面数据的抓取提供了很大的方便。
python爬虫:基于Scrapy的淘宝登陆后实现数据爬取并保存到Mysql
qq_36606793的博客
04-14 1589
main.py #整个scrapy项目可以直接右键main.py运行，不用到命令行输入命令启动。 from scrapy import cmdline cmdline.execute("scrapy crawl taobaobao".split()) taobaobao.py scrapy代码 import scrapy from selenium import webdriver from time import sleep from docs.conf import username,passwor.
python爬虫教程：用scrapy实现模拟登录
最新发布
python56123的博客
09-12 604
嗨喽~大家好呀，这里是魔王呐 ❤ ~!
scrapy-splash的使用学习
dandanfengyun的博客
02-08 836
scrapy-splash是为了解决 scrapy不能够解析JavaScript加载的网页这一问题而存在的。 splash作为js渲染服务，是基于Twisted和QT开发的轻量浏览器引擎。 scrapy-splash模块主要使用了Splash。 也就是说，splash作为一个中间代理将结果返回。 splash官方文档https://splash.readthedocs.io/en/stable/ ...
Scrapy-Redis、Scrapy-splash、scrapy的日志信息与配置、scrapyd部署scrapy项目
wutongheihei666的博客
06-20 632
1.分布式是什么 简单的说 分布式就是不同的节点（服务器，ip不同）共同完成一个任务 2. scrapy_redis的概念 scrapy_redis是scrapy框架的基于redis的分布式组件 3. scrapy_redis的作用 Scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在： 通过持久化请求队列和请求的指纹集合来实现： 断点续爬 分布式快速抓取 4. scrapy_redis的工作流程 ...
Scrapy-Splash的安装(windows篇)
cherish152的博客
01-05 5349
Scrapy-Splash是一个Scrapy中支持Javascript渲染的工具。 Scrapy-Splash的安装分为两个部分，一个是Splash服务的安装，通过Docker，安装后会启动Splash的服务，我们可以通过他的接口来实现JavaScript页面的加载，另一个是Scrapy-Splash的python库的安装，安装之后可在Scrapy中使用Splash。 Docker的安装 ...
scrapy-redis-master_scrapy-redis_juzi1122_scrapy_
10-01
3. **Scrapy-Redis架构**: Scrapy-Redis通过将待爬取URLs和请求放入Redis队列，实现多个Scrapy爬虫实例并行工作，从而提高整体爬取效率。其主要组件包括：Request Queue（请求队列）、Scheduler（调度器）、Spider ...
scrapy框架携带cookie访问淘宝购物车功能的实现代码
12-17
scrapy框架简介 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便 scrapy架构图 crapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。 Downloader（下载器）：负责
淘宝自动登录chrome插件
06-30
这是在自动登录的chrome插件，主要利用javascipt来完成，这里以淘宝网为例子，希望对大家有所启发。
Scrapy 实现模拟登录-抓取登录之后的页面 获取马蜂窝旅游的个人中心页面
模板君MuBanJun.CN
05-22 484
为什么需要登录? 为了我们可以获取到登陆后的页面。 我们回顾requests是如何模拟登录的，有两种方式，第一种是直接携带cookies请求页面，第二种是找接口发送Post请求，然后存储Cookies，那么Selenium是如何模拟登录的，同样是找到对应的登陆页面，传入账户和密码等参数，登录之后获取Cookies，然后添加cookies，并请求登录之后的页面。 Scrapy实现登录，也有两种方式，第一种就是直接携带Cookies，第二种是找到发送Post请求的url地址，带上账户和密码等信息，发送请求。 S
[387]scrapy模拟登陆
周小董
08-26 514
scrapy有三种方法模拟登陆方式： 直接携带cookies 找url地址，发送post请求存储cookie 找到对应的form表单，自动解析input标签，自动解析post请求的url地址，自动带上数据，自动发送请求 1、携带cookies登陆github import scrapy import re class Login1Spider(scrapy.Spider): ...
scrapy-splash 爬取Taobao页面
景霄之上的博客
04-08 571
开发环境 Windows 10 python3 vs code docker docker 安装 下载 Docker Toolbox 具体安装方法请百度, 教程很多, 这里就不多介绍啦 安装 scrapy-splash pip install scrapy-splash 运行 splash 打开 Docker Quickstart Terminal, 输入以下命令: docker...
scrapy框架携带cookie访问淘宝购物车功能的实现代码！
爬遍所有网站
07-09 722
scrapy框架简介 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便 scrapy架构图 crapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行.
基于scrapy爬虫框架的应用案例之一：百度阅读(无登录爬虫)
weixin_43343144的博客
02-24 379
基于python的Scrapy框架做爬虫确实简单（别人造好的轮子，我们来组装即可）   无需登录的 items.py模块 from scrapy import Item,Field class BookItem(Item): title = Field() price = Field() tags = Field() author = Field()...
scrapy爬虫-TB模拟登陆抓取数据
@Python爬虫、帆软报表及大屏制作
01-02 5382
（我用的谷歌浏览器，在淘宝登录页面，按F12键进入检查模式，点击Network,勾选Preserve log,点击登陆，这样就记录下了登陆需要提交的所有参数） -- coding: utf-8 -- import scrapy import re import json import time from tao_bao_data.items import TaoBaoDataItem class ...
使用selenium+phantomjs模拟登录淘宝
热门推荐
pushiqiang的博客
05-08 1万+
使用自动化工具selenium可以很方便模拟淘宝登录 from selenium import webdriver driver = webdriver.PhantomJS(executable_path='/opt/phantomjs-2.1.1-linux-i686/bin/phantomjs') #driver = webdriver.Firefox()
scrapy-splash
08-24
Scrapy-Splash 是 Scrapy 框架与 Splash（一个 JavaScript 渲染服务）的结合使用。Splash 可以执行 JavaScript 渲染，解决了 Scrapy 无法爬取 JavaScript 动态渲染内容的问题。 Scrapy-Splash 提供了一个 Middleware，用于将请求发送到 Splash 服务，获取渲染后的 HTML 页面。这样，Scrapy 就可以处理 JavaScript 动态渲染的页面了。 使用 Scrapy-Splash，你可以在 Spider 中发送请求到 Splash 服务，并获取渲染后的页面，然后进行解析和提取数据。这对于需要爬取 JavaScript 动态生成的内容、异步加载的数据等场景非常有用。 需要注意的是，Scrapy-Splash 需要安装和配置 Splash 服务才能正常使用。你可以在 Scrapy-Splash 的官方文档中找到详细的安装和配置指南。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值