django--中运行scrapy框架

本文介绍了如何在Django项目中运行和管理Scrapy爬虫。首先新建Django项目,然后创建Scrapy项目,并通过cmd命令行启动Scrapyd服务。接着将Scrapy项目部署到Django工程,通过views.py实现爬虫的启动和停止。总结了Scrapyd管理爬虫的API接口,包括获取状态、项目列表、爬虫列表、运行状态、启动爬虫、删除版本和取消爬虫等操作。
摘要由CSDN通过智能技术生成

1.新建一个django项目,

2.前端展示一个按钮

<form action="/start/" method="POST">
        {% csrf_token %}
        <input type="submit" value="启动爬虫">
</form>

3.在django项目的根目录创建scrapy项目

4.cmd命令行运行:scrapyd 启动服务

5.将scrapy项目部署到当前工程:scrapyd-deploy 爬虫名称 -p 项目名称

6.views.py

# 首页
def index(request):
    return render(request,'index.html',locals())

def start(request):
    if request.method == 'POST':
        # 启动爬虫
        url = 'http://localhost:6800/schedule.json'
        data = {'project': 'ABCkg', 'spider': 'abckg'}
        print(requests.post(url=url, data=data))
        return JsonResponse({'result':'ok'})

7.在本地6800端口点击jobs当前爬虫项目就在运行了。

8.写一个按钮,点击停止scrapy爬虫

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值