scrapy 的组件和 流程:
前段时间因为需要,爬了几部豆瓣电影,才开始接触scrapy ,不过网上代码很多,而且文档里也有不少例子。所以 入门还是很容易的。
这里附一下 文档的地址:
https://scrapy-chs.readthedocs.org/zh_CN/0.24/index.html;
https://scrapy-chs.readthedocs.org/zh_CN/1.0/;
其实 英文版更好一点,奈何水平有限,看英文版实在费劲。
item.py
# -*- coding: UTF-8 -*-
from scrapy.item import Item, Field
class DoubanmovieItem(Item):
name=Field()
year=Field()
score=Field()
director=Field()
classification=Field()
actor=Field()
commenturl = Field()
ID = Field()
pass
movie_spider.py
# -*- coding: utf-8 -*-
from scrapy.selector import Selector
from scrapy.spiders import CrawlSpider,Rule
from scrapy.linkextractors.sgml import SgmlLinkExtractor
from doubanmovie.items import DoubanmovieItem
class MoiveSpider(CrawlSpider):
name=&