- Scrapyd部署修改前default_scrapyd.conf文件,conf文件在scrapyd的安装目录中。
找到conf文件的bind_address
和http_port
,修改成自己的ip地址和端口号。 - Scrapy 爬虫链接Django
Django工程不要包含Sipder工程,分得远远的。。。
2.1 修改爬虫工程目录的settings.py文件,如下:
import os
import sys
sys.path.append(‘Django工程的位置’)
os.environ['DJANGO_SETTINGS_MODULE'] = Django工程名.settings'
import django
django.setup()
2.2 爬虫的item.py引入django的模型,需要用到**django_item**