python django框架怎么爬虫步骤_如何在django中运行scrapy框架

1.新建一个django项目，

2.前端展示一个按钮

{% csrf_token %}

3.在django项目的根目录创建scrapy项目

4.cmd命令行运行：scrapyd 启动服务

5.将scrapy项目部署到当前工程：scrapyd-deploy 爬虫名称 -p 项目名称

6.views.py

# 首页

def index(request):

return render(request,'index.html',locals())

def start(request):

if request.method == 'POST':

# 启动爬虫

url = 'http://localhost:6800/schedule.json'

data = {'project': 'ABCkg', 'spider': 'abckg'}

print(requests.post(url=url, data=data))

return JsonResponse({'result':'ok'})

7.在本地6800端口点击jobs当前爬虫项目就在运行了。

8.写一个按钮，点击停止scrapy爬虫

def stop(request):

if request.method == 'POST':

# 停止爬虫

url = 'http://127.0.0.1:6800/cancel.json'

data={&