2024年最新scrapy+scrapyd+gerapy 爬虫调度框架(1)，2024年最新阿里面试笔试题

2401_84140485

于 2024-05-11 07:25:04 发布

阅读量992

点赞数 16

分类专栏：程序员文章标签： python 学习面试

本文链接：https://blog.csdn.net/2401_84140485/article/details/138695696

版权

程序员专栏收录该内容

138 篇文章 0 订阅

订阅专栏

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

在这里插入图片描述

简历模板

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

在这里插入图片描述

访问 ip:6800，出现此页面则启动成功
在这里插入图片描述

三、gerapy

3.1 简介

Gerapy 是一款分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发，Gerapy 可以帮助我们：

方便地控制爬虫运行
直观地查看爬虫状态
实时地查看爬取结果
简单地实现项目部署
统一地实现主机管理
轻松地编写爬虫代码

3.2 安装使用

安装

pip install gerapy(或pip3 install gerapy）

安装完后先建立软链接

ln -s /usr/local/python3/bin/gerapy /usr/bin/gerapy

初始化

gerapy init

在这里插入图片描述

初始化数据库

cd gerapy
gerapy migrate

报错sqllite 版本过低
在这里插入图片描述

解决办法：升级sqllite

下载
wget https://www.sqlite.org/2019/sqlite-autoconf-3300000.tar.gz --no-check-certificate
tar -zxvf sqlite-autoconf-3300000.tar.gz

安装
mkdir /opt/sqlite
cd sqlite-autoconf-3300000
./configure --prefix=/opt/sqlite
make && make install

建立软连接
mv /usr/bin/sqlite3 /usr/bin/sqlite3_old
ln -s /opt/sqlite/bin/sqlite3 /usr/bin/sqlite3
echo “/usr/local/lib” > /etc/ld.so.conf.d/sqlite3.conf
ldconfig
vim ~/.bashrc 添加 export LD_LIBRARY_PATH=“/usr/local/lib”
source ~/.bashrc

查看当前sqlite3的版本
sqlite3 --version

重新初始化gerapy 数据库

在这里插入图片描述

配置账密

gerapy createsuperuser

启动gerapy

gerapy runserver
gerapy runserver 0.0.0.0:9000  # 外部访问 9000端口启动

在这里插入图片描述
由于没有启动scrapy 这里的主机未0

在这里插入图片描述

启动scrapyd后，配置scrapyd的主机信息
在这里插入图片描述

配置成功后就会加入到主机列表里
在这里插入图片描述

四、scrapy+scrapyd+gerapy的结合使用

4.1 创建scrapy项目

进到gerapy的项目目录

cd ~/gerapy/projects/

然后新建一个scrapy项目

scrapy startproject gerapy_test
scrapy genspider baidu_test www.baidu.com

修改scrapy.cfg 如下

在这里插入图片描述

在使用scrapyd-deploy 上传到scrapyd，先建立软连接再上传

ln -s /usr/local/python3/bin/scrapyd-deploy /usr/bin/scrapyd-deploy

scrapyd-deploy app -p gerapy_test

在这里插入图片描述

4.2 部署打包scrapy项目

然后再gerapy页面上可以看到我们新建的项目，再打包一下

在这里插入图片描述

运行之前还需修改下scrapy代码
在这里插入图片描述

修改完后再运行代码
在这里插入图片描述

4.3 运行

运行成功，本次的部署就ok了！

在这里插入图片描述

五、填坑

5.1 运行scrapy爬虫报错

在这里插入图片描述
解决办法：修改lzma源代码如下

try:
    from _lzma import \*
    from _lzma import _encode_filter_properties, _decode_filter_properties
except ImportError:


### 最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~  

给大家准备的学习资料包括但不限于：  

Python 环境、pycharm编辑器/永久激活/翻译插件  

python 零基础视频教程  

Python 界面开发实战教程  

Python 爬虫实战教程  

Python 数据分析实战教程  

python 游戏开发实战教程  

Python 电子书100本  

Python 学习路线规划

![](https://img-blog.csdnimg.cn/d29631674929476f9c3b30f7ff58dff0.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA==,size_16,color_FFFFFF,t_70)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**