python之Scrapyd部署爬虫项目（使用虚拟环境）

最新推荐文章于 2024-08-01 10:56:05 发布
最新推荐文章于 2024-08-01 10:56:05 发布
阅读量2.5k 收藏 1
点赞数
分类专栏： python学习笔记 文章标签： python scrapyd 部署scrapy项目
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32227401/article/details/79659004
版权

1、新建虚拟环境(方便管理)，在虚拟环境中安装scrapy项目需要使用到的包

新建虚拟环境： mkvirtualenv --python=C:\python36\scripts\python.exe scrapySpider 

进入虚拟环境使用pip将所需包安装完成

2、打开命令行工具执行pip install scrapyd


3、输入scrapyd启动scrapyd服务，在浏览器输入127.0.0.1:6800 即可查看是否成功启动服务



4、如果连接成功先关闭服务，自己在非C盘下新建一个文件夹，名称自定义如

最低0.47元/天 解锁文章
Tjx_Miracle_0
关注
专栏目录
Python 实战：用 Scrapyd 打造个人化的爬虫部署管理控制台
sybh的博客
08-20 583
拒绝裸奔，为你的 Scrapyd 增添权限验证、自定义 API、开发数据统计和美化界面的功能，带你逐步实现「唯你可用」的爬虫部署管理控制台。
scrapyd部署爬虫项目
qq_36525166的博客
09-27 422
项目的环境 windows10系统 python版本:3.6.5 1.安装scrapy项目需要使用到的包 -- scrapyd 打开cmd命令行，输入pip install scrapyd ,回车 安装完成，如果想要查看所有的包中是否有scrapyd包，输入pip list ,回车 确定安装完成后，输入scrapyd可以启动scrapyd服务 启动服务后不要关闭cmd...
Python爬虫入门实例：Python7个爬虫小案例（附源码）
最新发布
m0_62283350的博客
08-01 1775
通过本文的讲解，相信读者已经对Python爬虫有了较为全面的认识。爬虫技能在数据分析、自然语言处理等领域具有广泛的应用，希望读者能够动手实践，不断提高自己的技能水平。同时，请注意合法合规地进行爬虫，遵守相关法律法规。祝您学习愉快！
scrapyd 部署爬虫项目
wu_tian_hao的博客
09-28 394
1.cmd进入虚拟环境下载scrapyd,即pip install scrapyd,安装完成后输入scrapyd，启动scrapyd服务 在浏览器输入127.0.0.1：6800 即可查看 2. 如果连接成功先关闭服务，自己在非C盘下新建一个文件夹，名称自定义如:scrapydTest然后进入该文件夹， cmd打开命令行工具，输入scrapyd执行，执行完成后会新建一个dbs空文件夹，用来...
在scrapyd部署爬虫
qq_40916110的博客
05-08 218
一简介 部署爬虫的时候需要scrapyd和scrapy client,scrapy client允许我们把我们的scrapy打包发送到scrapyd里面。 scrapyd是一个用来运行spider的service，可以通过scrapyd来部署爬虫项目，并且通过json控制spider。 二、service 首先要在开发scrapy项目的虚拟环境里安装一个scrapyd. pip install s...
scrapyd 爬虫部署
akvu10582的博客
08-12 117
scrapyd部署爬虫 1.编写爬虫 2.部署环境 pip install scrapyd pip install scrapyd-client 启动scrapyd的服务：cmd:>scrapyd（必须处于开启状态） 在爬虫根目录执行：scrapyd-deploy,如果提示不是内部命令，需要修改配置文件。 3.发布工程到scrapyd 修改scrapy.cfg，去掉...
Scrapyd部署爬虫项目
zhaobig的博客
11-29 7348
Scrapyd部署爬虫项目 1、新建虚拟环境(方便管理)，在虚拟环境中安装scrapy项目需要使用到的包 mkvirtualenv--python=C:\python27\scripts\python.exe scrapySpider 新建虚拟环境 进入虚拟环境使用pip将所需包安装完成 2、安装scrapyd模块，scrapyd模块是专门用于部署scrapy项目的，可以部署和管理sc
python分布式爬虫scrapyd部署以及gerapy的使用流程
qq_43292527的博客
09-28 605
新建虚拟环境(方便管理)，也可以直接执行第一步。注意：windows系统和虚拟环境要分清，进入指定的环境下进行操作，否则会出现错误 1、打开命令行工具执行pip install scrapyd 2、 等待安装完成 ， 输入scrapyd启动scrapyd服务 出现下面的内容则表明服务开启成功 3、在浏览器输入127.0.0.1:6800 即可查看 4、如果连接成功先关闭服务...
scrapyd项目部署1
08-08
3. 可以同时管理多个爬虫项目。 在部署 Scrapyd 项目时，我们需要考虑到以下几点： 1. 操作系统：Windows 2. 安装 Anaconda 和 Python 2.7.1 3. 安装必要的包：pymongo、parse、bs4、setuptools、beautifulsoup、...
Python-scrapydweb是一个用于监视和控制Scrapyd服务器集群的全功能WebUI
08-10
scrapydweb 是一个用于监视和控制 Scrapyd 服务器集群的全功能 Web UI，支持 Scrapy 日志分析和可视化
Python-ScrapydWebPython爬虫框架Scrapyd集群管理的全功能webUI
08-10
Python 爬虫框架 Scrapyd 集群管理的全功能 web UI，支持 Scrapy 日志分析和可视化、自动打包、定时器任务和邮件通知等特色功能
在Python虚拟环境中安装scrapy
weixin_34024034的博客
10-25 191
虚拟环境安装scrapy 在虚拟环境中执行命令 (scrapyenv) E:\Python\Envs>pip install -i https://pypi.douban.com/simple/ scrapy 说明： -i https://pypi.douban.com/simple/使用国内豆瓣源进行安装，速度比较快 创建Scrapy项目 由于PyCharm工具...
使用Scrapyd部署爬虫
xiangminghan的博客
06-09 647
使用Scrapyd部署爬虫 Scrapyd： 一个部署和运行Scrapy爬虫的应用程序，它使用户能在网页查看正在执行的任务，能通过JSON API部署（上传）工程和控制工程中的爬虫，如新建爬虫任务、终止爬虫任务等。 1.要使用Scrapyd部署，需要安装Scrapyd pip install scrapyd 2.运行Scrapyd >scrapyd 默认情况下，Scrapyd监听0.0.0.0:6800端口，用浏览器开：http://localhost:6800/,就能看到Scrapyd已经成功运
python爬虫之虚拟环境的使用
weixin_44356081的博客
11-05 343
Window 下创建python的虚拟环境 下载工具 　pip install virtualenv 创建虚拟环境目录 # 注意此命令创建的虚拟环境目录是在当前目录下 virtualenv chen 使用虚拟环境 cd testenv/Scripts 　　activate 退出虚拟环境 　deactivate.bat 指定使用python版本创建虚拟环境 　virtualenv -p C:\Users\Administrator\AppData\Local\Programs\Python
爬虫 ----了解爬虫 爬虫的虚拟环境 http和https
zxcvbbnn的博客
06-08 285
爬虫爬虫？什么是爬虫？获取数据几种途径爬虫的作用爬虫需要知识爬虫的分类爬虫的流程web 共同点Robots协议虚拟环境**Python虚拟环境搭建和使用**Ubuntu下配置virtualenv和virtualenvwrapperhttp和https 爬虫？ 什么是爬虫？ 网络爬虫（又被称为网页蜘蛛，网络机器人）, 是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 简单来说：就是一个爬取web或者app数据的程序，他又名数据采集。 获取数据几种途径 用户产生数据 百度指数 数据平台购买数据
学会运用爬虫框架 Scrapy (五) —— 部署爬虫
极客猴的博客
10-09 511
本文是 Scrapy 爬虫系列的最后一篇文章。主要讲述如何将我们编写的爬虫程序部署到生产环境中。我们使用由 scrapy 官方提供的爬虫管理工具 scrapyd 来部署爬...
爬虫系列0安装虚拟环境
runnoob_1115的博客
11-12 485
easy_install virtualenvvirtualenv venvdeactivescripts activepip install django==1.8.18资源网址https://bitbucket.org/wswp/code/src/tip/chapter02/linkcrawler.py
使用scrapyd部署爬虫
03-26
Scrapyd是一个基于Twisted的Python爬虫部署工具，它可以帮助我们方便地管理和部署自己编写的爬虫程序。 以下是使用Scrapyd部署爬虫的步骤： 1. 安装Scrapyd 可以使用pip命令安装Scrapyd： ``` pip install scrapyd ``` 2. 创建Scrapy项目 在命令行窗口中输入以下命令，创建Scrapy项目： ``` scrapy startproject myproject ``` 其中myproject是项目名称。 3. 创建爬虫程序 在myproject/spiders目录下创建一个爬虫程序，例如： ```python import scrapy class MySpider(scrapy.Spider): name = 'myspider' allowed_domains = ['example.com'] start_urls = ['http://www.example.com'] def parse(self, response): # 爬虫解析方法 pass ``` 这里创建了一个名为myspider的爬虫程序，它从http://www.example.com开始爬取数据。 4. 配置Scrapy项目 修改myproject/settings.py文件，添加如下配置： ```python BOT_NAME = 'myproject' SPIDER_MODULES = ['myproject.spiders'] NEWSPIDER_MODULE = 'myproject.spiders' ITEM_PIPELINES = { 'scrapy.pipelines.images.ImagesPipeline': 1 } IMAGES_STORE = 'images' ``` 这里添加了一个名为ImagesPipeline的管道，用于下载图片，并将图片保存到images目录下。 5. 打包Scrapy项目 在命令行窗口中进入Scrapy项目的根目录，使用以下命令打包Scrapy项目： ``` python setup.py sdist ``` 这时会在Scrapy项目的根目录下生成一个dist目录，其中包含了一个压缩包，例如myproject-0.1.tar.gz。 6. 部署Scrapy项目 在命令行窗口中进入Scrapy项目的根目录，使用以下命令将Scrapy项目部署到Scrapyd服务器上： ``` scrapyd-deploy <target> -p <project> --version <version> ``` 其中，： - `<target>`是Scrapyd服务器的名称，例如default； - `<project>`是Scrapy项目的名称，例如myproject； - `<version>`是Scrapy项目的版本号，例如0.1。 执行此命令后，Scrapyd会自动将Scrapy项目部署到Scrapyd服务器上，并生成一个新的项目版本。 7. 启动Scrapyd 在Scrapyd服务器上启动Scrapyd服务： ``` scrapyd ``` 这时可以在浏览器中访问http://localhost:6800/，查看Scrapyd服务是否正常运行。 8. 运行爬虫 使用以下命令在Scrapyd服务器上运行爬虫程序： ``` curl http://localhost:6800/schedule.json -d project=myproject -d spider=myspider ``` 其中，myproject和myspider分别为你的项目名称和爬虫程序名称。 运行此命令后，Scrapyd会在Scrapyd服务器上启动myspider爬虫程序，并开始爬取数据。在浏览器中访问http://localhost:6800/jobs，可以查看爬虫程序的运行状态。 至此，使用Scrapyd部署爬虫的步骤已经完成。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值