在scrapy中使用django model来存储数据
在scrapy中使用pipeline可以将抓取到的数据存储于数据库或者文件中,但在实际操作过程中,如果不采用第三方orm库,需要自己构造sql语句,进行数据库操作,如果操作数据库的字段较多时,容易出现错误,并且为重复的体力劳动。于是,考虑使用python比较成熟的第三方orm库,将便于数据入库的操作。由于笔者之前使用过django来搭建web站点,对django的model印象深刻,只需要将数据存
原创
2016-06-13 22:23:05 ·
6840 阅读 ·
1 评论