1.新建一个django项目,
2.前端展示一个按钮
<form action="/start/" method="POST">
{% csrf_token %}
<input type="submit" value="启动爬虫">
</form>
3.在django项目的根目录创建scrapy项目
4.cmd命令行运行:scrapyd 启动服务
5.将scrapy项目部署到当前工程:scrapyd-deploy 爬虫名称 -p 项目名称
# 首页
def index(request):
return render(request,'index.html',locals())
def start(request):
if request.method == 'POST':
# 启动爬虫
url = 'http://localhost:6800/schedule.json'
data = {'project': 'ABCkg', 'spider': 'abckg'}
print(requests.post(url=url, data=data))
return JsonResponse({'result':'ok'})
7.在本地6800端口点击jobs当前爬虫项目就在运行了。
8.写一个按钮,点击停止scrapy爬虫