scrapy-splash 爬取Taobao页面

最新推荐文章于 2022-02-08 23:57:37 发布
最新推荐文章于 2022-02-08 23:57:37 发布
阅读量568 收藏 1
点赞数 1
分类专栏： python 文章标签： splash 爬虫 scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44285988/article/details/89099264
版权
本文介绍了如何在开发环境中安装和运行Scrapy-Splash，用于爬取使用动态加载技术的淘宝页面。由于淘宝价格等信息是动态加载的，静态爬取无法获取，因此使用Splash作为中间代理，解析页面结构。通过新建Scrapy项目，配置Splash的运行地址，并设置User-Agent防止被识别为爬虫，实现了动态内容的爬取。
摘要由CSDN通过智能技术生成
  • 开发环境
    • Windows 10
    • python3
    • vs code
    • docker
  • docker 安装
    • 下载 Docker Toolbox
    • 具体安装方法请百度, 教程很多, 这里就不多介绍啦
  • 安装 scrapy-splash
    • pip install scrapy-splash
    • 运行 splash
      • 打开 Docker Quickstart Terminal, 输入以下命令:
      • docker run -d -p 8050:8050 hub-mirror.c.163.com/scrapinghub/splash
      • 由于我的镜像是在163上面的,所以自己的镜像地址要弄对
      • 运行无异常之后，可以在浏览器中输入网址，看到运行效果，可以在右边自己写lua脚本测试是否达到效果，也自带了部分lua脚本可以查看
        在这里插入图片描述
  • 页面结构分析
    • 爬取淘宝电场页面, 链接是https://www.taobao.com/markets/3c/tbdc?spm=a21bo.2017.201867-main.12.5af911d9GQgDTx ;
    • 淘宝页面在对商品的价格做了动态加载&
最低0.47元/天 解锁文章
景霄之上
关注
专栏目录
使用Scrapy-Splash实现淘宝免密登录
Show_Rain的博客
08-23 1279
使用Scrapy-Splash实现淘宝免密登录： 总所周知，淘宝的反爬能力较强，笔者试过屏蔽浏览器webdriver但效果不佳，因此另辟蹊径采取cookies免密登录爬取淘宝信息。 创建爬虫后核心代码如下： def get_cookies(self,fp): with open(fp,"r") as f: cookies = json.load(f)...
Scrapy-Splash爬取淘宝排行榜（三）
qq_23849183的博客
04-30 4420
五 写spider1.知道了要爬取的内容，所以，我们首先在start_urls中设置如下： start_urls=['https://top.taobao.com/index.php?topId=TR_FS&leafId=50010850','https://top.taobao.com/index.php?topId=TR_SM&leafId=1101','https://top.taoba
Scrapy-Splash爬取淘宝排行榜（二）
qq_23849183的博客
04-30 4832
四 开始爬取1.首先分析淘宝排行榜的设置。在这里，商品被分为服饰，数码家电，化妆品，母婴，食品，文体，家具，车|玩具|宠物。而点开每个大类，又可以看到商品被分为很多小类。点开任意小类，往下拉就可以看到该类商品的排行信息，包括销售上升榜，销售热门榜等等。这里我只爬取销售热门榜的内容，所以继续点击销售热门榜的标签。可以看到在这里列出了该类前二十的商品。信息包括：排名，关键词，参考价，成交指数，升降位次。
逆向爬虫20 Scrapy-Splash入门
weixin_40743639的博客
02-08 2811
逆向爬虫笔记 20
用scrapy-splash爬取淘宝
weixin_44274975的博客
04-08 959
第一步：先安装scrapy-splash sudo pip3 install scrapy-splash 第二步：打开docker 第三步：创建一个爬虫项目 创建爬虫项目的命令如下： 如爬取淘宝：scrapy startproject taobao(爬虫名) cd taobao(爬虫名) scrapy genspider taobao_comment(爬虫项目名) taobao.com(淘宝...
scrapy实战：scrapy-splash抓取动态数据
灵动的艺术的博客
12-05 1539
scrapy实战：scrapy-splash抓取动态数据docker安装拉取scrapinghub/splash镜像启动Splash安装 scrapy-splash新建taobao spider项目settings.py运行测试 我们知道，为了加速页面的加载速度，页面的很多部分都是用JS生成的，而对于用scrapy爬虫来说就是一个很大的问题，因为scrapy没有JS engine，所以爬取的都是静...
Python scrapy 爬虫入门（五）动态渲染页面的爬取（selenium 和 splash）
fengyang182的博客
03-20 2565
1 Selenium实现动态页面爬取 1.1 安装python 支持的Selenium库 pip install selenium 1.2 安装浏览器驱动程序 chromedriver 的下载地址：https://chromedriver.storage.googleapis.com/index.html 或者 http://npm.taobao.org/mirrors/chromedriver...
scrapy绕过反爬虫
baidu_20735905的博客
11-17 4160
这里还是用scrapy框架写的爬虫。 最近才开始学习的，经过搜索了之后，常见的反爬虫方案大致有几个： 1.针对用户行为，常见的就是网站会针对ip访问频率统计，访问太过频繁，会禁止该ip地址的访问 2.判断Header，比如如果User-agent是爬虫或者检测工具，或者非正常的浏览器，就禁止该次连接 3.数据加载方式，采用ajax异步加载，这样只是爬取静态页面的话什么信息都没有办法得到下面实
爬虫实例：天猫商品评论爬虫
09-28 444
最近被种草SK-II，本着学工科的严谨态度，决定用数据说话 爬取数据 参数解析 itemId是商品ID， sellerId 是卖家ID， currentPage是当前页码，目标url是https://rate.tmall.com/list_detail_rate.htm?itemId=15332134505&spuId=294841&sellerId=917...
python按综合、销量排序抓取100页的淘宝商品列表信息
09-20
主要为大家详细介绍了python按综合、销量排序抓取100页的淘宝商品列表信息，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
淘宝商品抓取工具 - 通过页面抓取淘宝网的商品
03-05
淘宝商品抓取工具能帮你抓取到淘宝搜索页面http://search.taobao.com/search?q=%D2%C2%B7%FE里能够搜索到的所有商品，本软件提供页面所有条件搜索功能。
selenium实现淘宝爬虫
12-21
准备工作 安装好selenium和浏览器驱动chromedriver。 淘宝爬虫过程分析加代码 1.页面请求分析 首先请求淘宝页面，然后输入要爬取的数据的关键词，没有登陆，此时会弹出登陆的窗口，采取模拟浏览器登陆形式进行登陆，之后获取页面的文本信息。 安装好浏览器驱动chromedriver，可以先配置其地址信息，实现代码如下： chrome_driver = r"F:\python\python_environment\chromedriver.exe" browser = webdriver.Chrome(executable_path=chrome_driver) wait=WebDri
Taobao_Spider:基于Scrapy的Python3分布式淘宝爬虫
05-06
基于Scrapy的Python3分布式淘宝爬虫 注意: 此项目已失效，且不再更新 Items.py : 定义爬取的数据 pipelines.py : 后处理(Post-process)，存储爬取的数据 taobao.py : 爬虫程序 settings.py : Srapy设定，请参考 代码的详细分析在我的个人博客 问题和讨论可以发到我的邮箱 不定期更新 2017.7.23 实现功能： 输入关键字和搜索页数，获取在淘宝上搜索结果中所有商品的标题、链接、原价、现价、商家地址以及评论数量,并将数据存入MongoDB数据库中 使用教程： 1. 运行前你需要安装并配置好环境： Python3 Scrapy MongoDB redis 2. 打开MongoDB和redis服务 3. 下载并解压，把文件夹名改为taobao_spider 4. 打开多个cmd，把路径都切换到taobao_spider目
Scrapy基于selenium结合爬取淘宝的实例讲解
09-20
今天小编就为大家分享一篇Scrapy基于selenium结合爬取淘宝的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python爬虫中的scrapy爬取淘宝前60条商品的相关信息（对淘宝多级页面的爬取详细解读）
热门推荐
weixin_44841312的博客
07-09 1万+
** 一，整体规划： ** 1，要爬取的网站是：https://list.tmall.com/search_product.htm?q=Ůװ 2，要爬取的信息是：商品名称，商品价格，商品链接，店铺名称，店铺信息 （good_name, good_price, good_url, shop_name, shop_url） 二，确定网站可以被访问,相关信息可以被提取 1，打开cmd窗口。输入 ...
python+scrapy简单爬取淘宝商品信息
warm_man的博客
06-09 4814
python结合scrapy爬取淘宝商品信息 一、功能说明： 已实现功能： 通过scrapy接入selenium获取淘宝关键字搜索内容下的商品信息。 待扩展功能： 爬取商品中的全部其他商品信息。 二、代码解读： 1、创建项目 首先得创建一个scrapy项目，若不会的请看其他创建scrapy项目的博客文章或者我的这篇scrapy安装介绍scrapy安装与创建项目 然后得明白scrapy框架是如何去部署爬虫的，看大图： 2、scrapy工作流程文字解释 引擎（Scrapy Engine）从调度
scrapy利用splash爬取京东js动态渲染的商品数据（记录一下自己的小成果）
weixin_43865334的博客
11-04 1121
1.
Python爬虫从入门到高级实战精品课
04-24
课程介绍：         全面系统的学习Python爬虫入门视频课程，从零开始掌握Python爬虫项目的编写，学会独立开发常见的爬虫项目，让掌握好Python基础的你，把Python用起来！        1、学完能够 从零开始掌握Python爬虫项目的编写，学会独立开发常见的爬虫项目；        2、学完能够掌握常见的 反爬处理手段，比如验证码处理、浏览器伪装、代理IP池技术、用户代理池技术等；        3、学完能够熟练使用 正则表达式、 XPath表达式进行信息提取；        4、学完掌握 抓包技术，掌握 屏蔽的数据信息如何进行提取，学会自动 模拟加载行为、进行网址构造、自动模拟进行 Ajax异步请求数据；        5、熟练掌握urllib模块， 熟练使用Scrapy框架进行爬虫项目开发。
python scrapy-redis爬取豆瓣电影top250
最新发布
05-26
很好，下面是一个使用 Scrapy-Redis 爬取豆瓣电影 Top250 的示例： 1. 安装 Scrapy-Redis ``` pip install scrapy-redis ``` 2. 配置 Redis 在 `settings.py` 中添加以下内容： ```python # 开启调度器 SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 启用增量式爬取 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" # 配置 Redis REDIS_URL = 'redis://127.0.0.1:6379' ``` 3. 编写 Spider ```python # -*- coding: utf-8 -*- import scrapy from scrapy_redis.spiders import RedisSpider class DoubanTop250Spider(RedisSpider): name = 'douban_top250' allowed_domains = ['douban.com'] redis_key = 'douban_top250:start_urls' def parse(self, response): # 解析页面，获取电影信息 items = response.xpath('//div[@class="info"]') for item in items: title = item.xpath('div[@class="hd"]/a/span[@class="title"]/text()').extract_first() score = item.xpath('div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()').extract_first() yield {'title': title, 'score': score} # 获取下一页 URL，加入 Redis 队列 next_url = response.xpath('//span[@class="next"]/a/@href') if next_url: self.server.lpush(self.redis_key, next_url.extract_first()) ``` 4. 启动 Redis 和 Spider 在终端中启动 Redis： ``` redis-server ``` 在项目目录下启动 Spider： ``` scrapy crawl douban_top250 ``` 以上就是使用 Scrapy-Redis 爬取豆瓣电影 Top250 的步骤。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值