简单创建scrapy项目并生成egg包

针对scrapyd 的上传版本 这一API中的参数:project 工程名 version 版本名 egg egg包

1.首先创建一个scrapy项目,通过命令scrapy startproject 项目名

2.一直按同名目录进去,找到spider目录,创建一个.py文件,写入(来自https://docs.scrapy.org/en/latest/intro/overview.html)

import scrapy


class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/tag/humor/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').extract_first(),
                'author': quote.xpath('span/small/text()').extract_first(),
            }

        next_page = response.css('li.next a::attr("href")').extract_first()
        if next_page is not None:
            yield response.follow(next_page, self.parse)
3.保存,创建完成
4.开始生成egg包,进入项目根目录(利用scrapyd客户端进行打包)

scrapyd-deploy -p 项目名 -v 版本名 --build-egg=egg包名.egg

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值