当当爬虫--分布式爬虫配置

已于 2022-05-09 20:07:36 修改
阅读量384 收藏
点赞数
分类专栏： 爬虫 文章标签： 爬虫 分布式 redis redisspider 分布式爬虫
于 2018-05-05 15:12:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41666747/article/details/80205928
版权
本文介绍如何在settings配置文件中设置四行关键代码来启用RedisSpider，并通过向Redis键‘dangdang’添加起始URL来启动爬虫流程。文章提供了具体实现步骤并附带源码。
摘要由CSDN通过智能技术生成

在这里插入图片描述

 

1、settings配置文件加这四行代码

2、导入包继承redisspider，start_urls中的url要加入redis_key中，作为主机请求的初始url，在redis中dangdang这个key中加入初始URL

该篇文章不明白的留言，源码已经上传知识星球（左侧为知识星球，右侧二维码为微信公众号）

           

Python基于Scrapy-Redis分布式爬虫设计毕业源码案例设计完整
10-08
程序采用 python 开发的 Scrapy 框架来开发，使用 Xpath 技术对下载的网页进行提取解析，运用 Redis 数据库做分布式， 设计并实现了针对当当图书网的分布式爬虫程序，scrapy-redis是一个基于redis的scrapy组件，...
当当网开源的分布式作业调度组件 Elastic-Job.zip
07-19
Elastic-Job是ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架。去掉了和dd-job中的监控和ddframe接入规范部分。该项目基于成熟的开源产品Quartz和Zookeeper及其客户端Curator进行二次开发。       ddframe其他模块也有可独立开源的部分，之前当当曾开源过dd-soa的基石模块DubboX。elastic-job和ddframe关系见下图Elastic-Job 主要功能定时任务： 基于成熟的定时任务作业框架Quartz cron表达式执行定时任务。作业注册中心： 基于Zookeeper和其客户端Curator实现的全局作业注册控制中心。用于注册，控制和协调分布式作业执行。作业分片： 将一个任务分片成为多个小任务项在多服务器上同时执行。弹性扩容缩容： 运行中的作业服务器崩溃，或新增加n台作业服务器，作业框架将在下次作业执行前重新分片，不影响当前作业执行。支持多种作业执行模式： 支持OneOff，Perpetual和SequencePerpetual三种作业模式。失效转移： 运行中的作业服务器崩溃不会导致重新分片，只会在下次作业启动时分片。启用失效转移功能可以在本次作业执行过程中，监测其他作业服务器空闲，抓取未完成的孤儿分片项执行。运行时状态收集： 监控作业运行时状态，统计最近一段时间处理的数据成功和失败数量，记录作业上次运行开始时间，结束时间和下次运行时间。作业停止，恢复和禁用：用于操作作业启停，并可以禁止某作业运行（上线时常用）。被错过执行的作业重触发：自动记录错过执行的作业，并在上次作业完成后自动触发。可参考Quartz的misfire。多线程快速处理数据：使用多线程处理抓取到的数据，提升吞吐量。幂等性：重复作业任务项判定，不重复执行已运行的作业任务项。由于开启幂等性需要监听作业运行状态，对瞬时反复运行的作业对性能有较大影响。容错处理：作业服务器与Zookeeper服务器通信失败则立即停止作业运行，防止作业注册中心将失效的分片分项配给其他作业服务器，而当前作业服务器仍在执行任务，导致重复执行。Spring支持：支持spring容器，自定义命名空间，支持占位符。运维平台：提供运维界面，可以管理作业和注册中心。相关文档下载Release Notes1.0.2接口变更声明何为分布式作业？目录结构说明使用步骤开发指南使用限制运维平台阅读源码编译问题说明实现原理作业分片策略监控快速上手（感谢第三方志愿者 泽伟@心探索科技 提供文档）InfoQ新闻Elastic-Job Wiki （由社区志愿者自由编辑的） 标签：作业调度
当当网爬虫
weixin_30375427的博客
07-18 423
当当网爬虫 利用python的requests 库和lxml库，来爬取当当网的图书信息，包括图书名称，图书购买页面url和图书价格，本次以爬取python书籍为例 1、确定url地址 进入当当网，搜索python书籍，得到如下 所以可以知道，当你搜索书籍时，书籍的名字会放在key的后面 2、获取地址后，就发送请求获取数据，再返回element对象 3、在Chrome上进行元素...
最新当当网爬虫实战学习（仅供学习）
最新发布
huzhanxiao的博客
09-04 1784
这时我们就需要思考怎么样让数据刷新出来，首先通过资料查询我知道了在JavaScript里面有个网页最大高度，因为我们每次滑动网页它会加载内容，这会使网页高度变大，我们只需要获取并记录网页的最大高度将它与上一个网页的最大高度进行比较，如果相等了就说明已经到底了。现在当当网和网上视频教学的不太一样，它也是使用了js的懒加载，可是现在由于书籍变多，一次性加载服务器肯定受不了，我第一个实战项目的懒加载只是将内容写在了另一个类里，很容易爬取，但是这个我们可以通过开发者工具来观察。
python爬虫爬取当当网的商品信息
HelloWorldTM的博客
11-28 5927
python爬虫爬取当当网的商品信息一、环境搭建二、简介三、当当网网页分析1、分析网页的url规律2、解析网页html页面书籍商品html页面解析其他商品html页面解析四、代码实现 一、环境搭建 使用到的环境： python3.8.0 requests库 re库 bs4库 pycharm 二、简介 代码实现了根据设定的关键字keyword获取相关商品的资源定位符(url)，然后批量爬取相关页...
基于Scrapy-Redis的Python分布式爬虫毕设源码
3. **book**：包含爬虫程序的主体代码，可能包含爬虫配置文件、爬虫实现文件、数据管道实现文件、项目设置和入口等部分。这一部分是整个项目的主体，根据具体的设计，可能还包含中间件、Item管道、Item模型等Scrapy...
毕业设计-分布式爬虫系统（干货）
m0_37723366的博客
01-31 5884
前言 很多同学会问：“为什么我的毕业设计总是过不了？为什么我的毕设分数很低？”这种情况要么就是你的毕设做得过于粗糙，要么就是功能过于简单，给导师的感觉就是很容易就能实现，你小子压根没花时间去做。你们说是不是这个理儿？ 本期案例分享，学长给大家上点干货，手把手带你开发一个分布式爬虫系统。通过这个项目，你将学习到下面几点： 架构设计。如果设计一个通用的爬虫系统？一个系统支持爬取所有的网站。 分布式开发经验。分布式系统开发考虑的点会更多，如何保证代码在多节点部署时还能正确的运行？ 多
当当图书网分布式爬虫项目实现与Scrapy-Redis应用
它可能是本毕业设计的源代码或完整工程，包含了爬虫项目的主体代码、配置文件和相关文档，是实现分布式爬虫功能的关键组件。文件名中的"master"表明这是一个主版本或主分支，可能表示该项目目前是主要的或最新的开发...
爬虫--06：scrapy框架
Rhymeplot__JDQS的博客
05-05 1131
Crawler-06: Scrapy Framework scrapy框架基础一、scrapy框架的介绍二、scrapy框架的工作流程 scrapy框架基础 一、scrapy框架的介绍 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取 Scrapy使用了Twisted异步网络框架，可以加快我们的下载速度 异步：调用在发出之后，这个调用就直接返回，不管有无结果 非阻塞：关注的是程序在等待调用结果时的状态，指在不能立刻得到结果之前，该调用不会阻塞当
python当当网爬虫
xx20cw的博客
11-24 2366
   最终要实现的是将当当网上面的书籍信息，书籍名字，网址和评论数爬取，存入到数据库中。（首先要做的是创建好数据库，创建的数据库名字为dd,创建的表为books,字段为title,link,comment）。 1、创建项目 scrapy startproject dangdang 2、进入项目文件夹创建爬虫文件 >scrapy genspider –t basic dd dangdan...
当当商品信息爬虫（基于Scrapy框架）
LuLuYao9494的博客
03-14 716
1，首先，基于cmd创建爬虫项目，命令为：scrapy startproject dangdang 2，创建一个以基础爬虫为模板的爬虫文件，命令为：scrapy genspider -t dd dangdang.com 如下图所示，再spiders中生成了dd.py文件！ 3，我们爬取的信息有，商品标题，商品出售店铺，商品链接，商品评论数，商品价格 如下所示： 4，在...
Python爬虫深入 爬取当当网商品基本信息
m0_51290808的博客
04-23 1129
Python爬虫深入 爬取当当网商品基本信息 使用scrapy爬虫框架，创建爬虫项目。 基本命令： scrapy startproject dangdang scrapy genspider -l scrapy genspider -t basic dd dangdang.com 在dangdang这个爬虫项目下： items.py的内容 对爬取数据之后提取的数据进行定义 import scrapy class DangdangItem(scrapy.Item): # define the fiel
Python进阶之Scrapy-redis分布式爬虫抓取当当图书
kingx3的博客
09-14 345
Python进阶之Scrapy-redis分布式爬虫抓取当当图书1. 准备工作1.1 安装scrapy-redis1.2 在windows安装redis程序1.3 打开redis服务2. 需求分析2.1 需求一： **实现当当图书列表内容和图书内容的抓取**2.3 需求二： **实现从普通爬虫修改为分布式爬虫**3. 代码示例3.1 创建项目3.2 dangdang.py3.3 items.py3.4 settings.py3.5 start.py4. 注意事项4.1 普通爬虫改写为分布式爬虫的步骤4.2
python 网络爬虫技术 运用正则表达式爬取当当网（实战演练）
Python领域优质萌新学习笔记
11-22 1353
爬取网络：当当网 代码 import re import requests import time import xlwt url_basic = 'http://search.dangdang.com/?key=' heads = { 'Connection': 'keep-alive', 'Accept-Language': 'zh-CN,zh;q=0.9', ...
爬虫再体验--爬取当当书籍--进阶篇
xie1131726190的博客
08-22 4197
爬取当当书籍–进阶篇　 伪装浏览器，随机user-agent 抓包，模仿ajax请求，获取json数据 数据存储到数据库中
基于Python爬虫对当当网图书信息采集（10w条数据）+代码
2301_79655576的博客
04-09 957
通过对10万条当当图书网数据的采集和分析，我们能够深入理解当前图书市场的动态，为出版社、作者和读者提供有价值的市场洞察。
python爬虫框架之scrapy安装与当当网爬虫实战
IT_xiao_bai的博客
03-23 1812
一、scrapy简介 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测...
scrapy_redis分布式爬虫
树新风的博客
09-23 1123
使用scrapy_redis实现京东图书分布式爬虫 settings.py # -*- coding: utf-8 -*- # Scrapy settings for jdbook project # # For simplicity, this file contains only settings considered important or # commonly used. You ca...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值