Centos7 Python3下搭建scrapyd和scrapydweb

Centos7 模拟是python2, 需要升级为python3 或者建立虚拟环境,这里不再赘述。

由于scrapydweb 会用到sqlite3, 而普通版本安装的python3 是无法使用sqlite3的,因此需要编译安装python。
python 验证方法:

import sqlite3

如果报错,说明需要重新安装python.
参照:
https://blog.csdn.net/zd147896325/article/details/80092563

python安装完成后,可以进行其他包的安装。

  1. 修改pip源为国内源
mkdir ~/.pip
cd ~/.pip
touch pip.conf

pip.conf的内容是:

[global]
index-url=https://pypi.tuna.tsinghua.edu.cn/simple
timeout = 6000
 
[install]
trusted-host=pypi.tuna.tsinghua.edu.cn
 
disable-pip-version-check = true

把源更改为清华源。

  1. 创建scrapy项目
pip install scrapy scrapyd scrapydweb logparser scrapyd-client

scrapy startproject sohu_prj

cd sohu_prj

scrapy genspider sohu sohu.com

修改scrapy.cfg配置:
在这里插入图片描述

  1. 修改scrapyd的配置文件

    编辑 /etc/scrapyd/scrapyd.conf 把 bind_address为绑定ip,修改成0.0.0.0,其它主机就可以访问了。

  2. 启动scrapyd

    可以通过浏览器访问 ip:6800 查看页面

  3. 部署项目到scrapyd

    执行命令:

[root@centos7 sohu_prj]# scrapyd-deploy sohu -p sohu_prj
Packing version 1594688864
Deploying to project "sohu_prj" in http://localhost:6800/addversion.json
Server response (200):
{"status": "ok", "project": "sohu_prj", "version": "1594688864", "spiders": 1, "node_name": "centos7"}

在这里插入图片描述

  1. 启动scrapydweb

    直接运行scrapydweb, 会在当前目录下生成一个配置文件,需要修改其中的server地址和用户名密码配置。
    配置完毕,可以再次启动。
    通过 http://ip:5000即可访问。

https://blog.csdn.net/u013992330/article/details/94994037

https://blog.csdn.net/bingshi8956/article/details/100958281

https://www.jianshu.com/p/ddd28f8b47fb

https://www.cnblogs.com/asminfo/p/12763656.html

https://blog.csdn.net/haoxun03/article/details/104149882

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值