小炎子Scrapy与Django交互

Scrapy 与 Django 交互
首先是 Django 这部分的操作
常规创建项目,创建子应用,在setting.py注册子应用(爬虫部分无需注册)…

然后是 Scrapy 部分的代码
scrapy 框架所在的文件夹,与子应用并列

爬虫文件正常写

1.items.py

2.from scrapy_djangoitem import DjangoItem
3.from app01 import models # 导入表

4 class NameItem(DjangoItem):
5. django_model = models.Name # 改一下，表名
注意类的继承 并且,这个django_model变量名,不能自定义

pipeline.py

1. class NamePipeline(object):
2. def process_item(self, item, spider):

3.  item.save()
   

4.  return item
   

部分 settings.py

1.import os
2.import sys
3.sys.path.append(os.path.dirname(os.path.abspath(’.’)))
4.os.environ[‘DJANGO_SETTINGS_MODULE’] = ‘Pro_Name.settings’ # 导入项目下的settings.py

手动初始化Django：

import django
django.setup()
代码部分的差别就基本总结完了

命令行语句
无需进入spider目录,直接在scrapy框架的根目录输入命令
在这里插入图片描述