python项目_Scrapy注意点

pipelines

process_item 中打印好item中的数据后,利用raise DropItem(item) 丢弃item
	或者直接 return item 有啥效果
答： 不再往下执行

    @classmethod
    def from_crawler(cls,crawler):
        return cls(aaa=crawler.settings.get("MY_MESSAGE"))
     """
     # setting 中的My_MESSAGE
	MY_MESSAGE = "Love you!"
"""

爬取数据时的配置

在开始爬取时，可以通过 -s 指定爬取的item数量，到达这个数量则会关闭爬虫
scrapy crawl easy -s CLOSESPIDER_ITEMCOUNT=90

部署爬虫项目

借助Appery.io 网站和PhoneGap构建移动应用App
部署到Scrapinghub