Scrapy 与 Django 交互
首先是 Django 这部分的操作
常规创建项目,创建子应用,在setting.py注册子应用(爬虫部分无需注册)…
然后是 Scrapy 部分的代码
scrapy 框架所在的文件夹,与子应用并列
爬虫文件正常写
1.items.py
2.from scrapy_djangoitem import DjangoItem
3.from app01 import models # 导入表
4 class NameItem(DjangoItem):
5. django_model = models.Name # 改一下,表名
注意类的继承 并且,这个django_model变量名,不能自定义
pipeline.py
- class NamePipeline(object):
- def process_item(self, item, spider):
-
item.save()
-
return item
部分 settings.py
1.import os
2.import sys
3.sys.path.append(os.path.dirname(os.path.abspath(’.’)))
4.os.environ[‘DJANGO_SETTINGS_MODULE’] = ‘Pro_Name.settings’ # 导入项目下的settings.py
手动初始化Django:
import django
django.setup()
代码部分的差别就基本总结完了
命令行语句
无需进入spider目录,直接在scrapy框架的根目录输入命令
在这里插入图片描述