总结一下 Scrapy 与 Django 交互需要注意的问题
首先是 Django 这部分的操作
常规创建项目,创建子应用,在setting.py注册子应用(爬虫部分无需注册)…
然后是 Scrapy 部分的代码
scrapy 框架所在的文件夹,与子应用并列
-
爬虫文件正常写
-
from scrapy_djangoitem import DjangoItem from app01 import models # 导入表 class NameItem(DjangoItem): django_model = models.Name # 改一下,表名
注意类的继承 并且,这个django_model变量名,不能自定义
-
class NamePipeline(object): def process_item(self, item, spider): item.save() return item
-
部分 settings.py
import os import sys sys.path.append(os.path.dirname(os.path.abspath('.'))) os.environ['DJANGO_SETTINGS_MODULE'] =