糗事百科采用分布式爬取
1:scrapy-redis的工作原理
有相关scrapy经验者可仔细研究一些,无经验者可直接看下一节内容,等走完流程可在回头看
![](https://i-blog.csdnimg.cn/blog_migrate/1b0f2f0050ea21f9f2bd71fa7840880e.webp?x-image-process=image/format,png)
1,spider打开某网页,获取到一个或者多个request,经由scrapy engine传送给调度器scheduler
request特别多并且速度特别快会在scheduler形成请求队列queue,由scheduler安排执行
2,schelduler会按照一定的次序取出请求,经由引擎, 下载器中间键,发送给下载器dowmloader
这里的下载器中间键是设定在请求执行前,因此可以设定代理,请求头,cookie等
3,下载下来的网页数据再次经过下载器中间键,经过引擎,经过爬虫中间键传送给爬虫spiders
这里的下载器中间键是设定在请求执行后,因此可以修改请求的结果
这里的爬虫中间键是设定在数据或者请求到达爬虫之前,与下载器中间键有类似的功能
4,由爬虫spider对下载下来的数据进行解析,按照item设定的数据结构经由爬虫中间键,引擎发 送给项目管道itempipeline
这里的项目管道itempipeline可以对数据进行进一步的清洗,存储等操作
这里爬虫极有可能从数据中解析到进一步的请求request,它会把请求经由引擎重新发送给调度器 shelduler,调度器循环执行上述操作
5,项目管道itempipeline管理着最后的输出
转自博客:https://www.cnblogs.com/themost/p/7131234.html
2:准备工作
2.1:一个完整可以运行的scrapy项目
2.2:准备一台电脑(使用本地redis数据库)或者两台以上(其中一台作为master端负责redis服务的启动及发布需要爬的url,其余电脑作为slave端,只需要运行爬虫即可)
2.3: pip install scrapy-redis
3:我们开始吧(从图片入手)
下面是我的项目目录
![](https://i-blog.csdnimg.cn/blog_migrate/4ef978db4cfcbca435e7be3d7dac0359.webp?x-image-process=image/format,png)
在我们创建的spider_name.py中,我的是baike.py
代码解释
![](https://i-blog.csdnimg.cn/blog_migrate/464d2342cf9fd6cdd2317313100204c7.webp?x-image-process=image/format,png)
![](https://i-blog.csdnimg.cn/blog_migrate/68e5f67958021cb52debd41258603cc6.webp?x-image-process=image/format,png)
我们使用scrapy_redis 就得使用他的爬虫,原因不必深究,知道用这个就行
redis_key:可以理解成dic中的key,使用我们会在运行中解释,不需要start_urls,
4:修改设置文件
下面是我的setting.py
![](https://i-blog.csdnimg.cn/blog_migrate/c8f65c528389f9ddab1b6bff54c3b483.webp?x-image-process=image/format,png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9b193ba27b3406b680723697717219b.webp?x-image-process=image/format,png)
以上可直接写入你的setting文件中
到此,我们的scrapy_redis 已经完成一半了
5:redis数据库的选择
不同系统下redis配置在config设置有些不同,本次测试全部基于windows环境下,其他环境请自行百度
对于选择redis数据库是本地还是master的数据库,我详细说明一下
本地数据库就很简单,什么都不写,可直接跳过下一节
master数据库连接请移步下一节
6:master端数据库连接
1:在master端下载一下redis(http://download.redis.io/releases/)及RedisDesktopManager(链接:https://pan.baidu.com/s/1Q4_EeVtTXvDq5LPkbX2VDA
提取码:gamg )
我的redis版本是3.2的,有的习惯于把redis服务写成windows服务,方便启动,我这里没有,简单直接粗暴 嘿嘿
2:安装完以后打开
![](https://i-blog.csdnimg.cn/blog_migrate/9034d1ffcb99994bf90e145c71f9f0ae.webp?x-image-process=image/format,png)
找到这个 然后注释掉 我的是注释了的
![](https://i-blog.csdnimg.cn/blog_migrate/8af94f7ddb0e1ed8effbdc0ccfd5a1a3.webp?x-image-process=image/format,png)
测试slave端是否能到连接master端
master端打开服务 redis-server.exe
![](https://i-blog.csdnimg.cn/blog_migrate/1f94f735534f6225a86ad22da6f9efc0.webp?x-image-process=image/format,png)
下面是我master端的ip地址
![](https://i-blog.csdnimg.cn/blog_migrate/b4c52555f1a72c383260887188860ed5.webp?x-image-process=image/format,png)
下面是我slave端的IP地址
![](https://i-blog.csdnimg.cn/blog_migrate/7b978eb9d10fe2752f092a78cf604101.webp?x-image-process=image/format,png)
1:测试连接准备工作
ping 对方的ip
查看数据可以传输
master端ping slave 端 有以下画面表示可以传输
![](https://i-blog.csdnimg.cn/blog_migrate/cafe679c03ef07d061c79e765eb8d320.webp?x-image-process=image/format,png)
接着slave端 ping master端 一切都很ok
![](https://i-blog.csdnimg.cn/blog_migrate/05f84165d113650a6964ccf15ac972d8.webp?x-image-process=image/format,png)
测试
在master端和slave端都启动服务 在master端 在redis目录下,后面跟的redis.windows.conf表示启动时 使用该配置文件
![](https://i-blog.csdnimg.cn/blog_migrate/8f68b71c4aa30655760b3a483cb0c5dd.webp?x-image-process=image/format,png)
再在redis目录下启动cmd命令 输入redis-cli.exe
![](https://i-blog.csdnimg.cn/blog_migrate/302552f1a65bfbf13a1697253e34578d.webp?x-image-process=image/format,png)
redis数据的存储是键值对的方式
在slave端和master端一样先开启服务
在开一个dos界面
![](https://i-blog.csdnimg.cn/blog_migrate/bf94219ae9041a3fd7fcbfde8caeb1b6.webp?x-image-process=image/format,png)
如果出现以上界面 表示连接成功
7:最后让我们开始运行我们的项目吧
7.1:本地redis篇
进入终端或者在含有你爬虫文件的目录下
执行命令 scrapy runspider baike.py,然后你会看到以下界面,表示爬虫已运行,处于等待状态,需要你给一个url
![](https://i-blog.csdnimg.cn/blog_migrate/ebc3749ae6b92d2a1ef1f397a3649cfe.webp?x-image-process=image/format,png)
执行命令 格式为:lpush 《redis_key》 url
![](https://i-blog.csdnimg.cn/blog_migrate/ef9029c6fc6350a39aa19fc17a52cddd.webp?x-image-process=image/format,png)
看结果 跑起来了
![](https://i-blog.csdnimg.cn/blog_migrate/be0deb6ce9e07fe7a0e1f93767259d51.webp?x-image-process=image/format,png)
再次查看本地数据库 数据进来了
![](https://i-blog.csdnimg.cn/blog_migrate/2bb0aefe79016582752b64b7ffbf181d.webp?x-image-process=image/format,png)
7.2:远程篇 本机作为slave端
1:同样 在本地启动爬虫 scrapy runspider baike.py
![](https://i-blog.csdnimg.cn/blog_migrate/124ad79f68e694b508fd3adb1787a76e.webp?x-image-process=image/format,png)
2:master端启动服务 后打开redis Desktop Manager ,可以看到没有我们的redis_key
![](https://i-blog.csdnimg.cn/blog_migrate/1d03bba99a9ca532f56ee11f7f7aeead.webp?x-image-process=image/format,png)
3:执行 redis-cli.exe 命令
![](https://i-blog.csdnimg.cn/blog_migrate/b03f14eb78ef4898c0063b14c5f11ed5.webp?x-image-process=image/format,png)
4:查看终端 我在pycharm终端运行的
![](https://i-blog.csdnimg.cn/blog_migrate/54893a2c0d89cb5a3c25750d64bf7978.webp?x-image-process=image/format,png)
在看redis数据库,由于只是测试,就简单运行了一下,数据都进来了
![](https://i-blog.csdnimg.cn/blog_migrate/9b5db5e70cd2703e55f5505e4fdcb208.webp?x-image-process=image/format,png)
8:总结
在学习scrapy及scrapy_redis 的过程中,遇到不懂的多去百度,还有代码尽量多去手打,即使看起来很简单,手打后你才能从中体会其中的工作原理,可以多加一些scrapy的群,问一下那些大神是怎么做的,少绕弯路。
以上差不多就是我的所有心得吧,第一次写博客,希望有大神看到有问题的地方可以不吝赐教,我接触不深,有不对的地方勿喷,只想分享下我的学习历程,欢迎加入我的群一起交流: 644080474 嘿嘿
下面是我的github地址,代码有不对的地方可以看下我的源代码
https://github.com/heqiang
祝各位小伙伴早日成功 加油