scrapy爬虫创建项目

1.进入scrapy的项目所在的目录创建项目scrapy startproject cmfg_registerMoney_crawel；

2.进入创建项目的目录： cd cmfg_registerMoney_crawel

3.创建spider： scrapy genspider xinBaidu   网址

4.打开项目，目录的结构如图：

5. 解析scrapy框架结构：

• scrapy.cfg: 项目的配置文件。
• cmfg_registerMoney_crawel/: 该项目的python模块。之后您将在此加入代码。
• cmfg_registerMoney_crawel/items.py: 项目中的item文件，保存的字段属性。
• cmfg_registerMoney_crawel/pipelines.py: 项目中的pipelines文件。
• cmfg_registerMoney_crawel/settings.py: 项目的设置文件。
• cmfg_registerMoney_crawel/spiders/: 放置spider代码的目录。

6. scrapy的框架的原理 ：

1.从spider开始，如果spider没有start_requests方法时，则从start_url这个url爬起；如果有start_requests方法时，则忽略start_url。2. 接着将start_requests中的url和参数等一些信息传到Middleware进行处理；3. 然后将响应的页面传到Spider中的parse中进行解析，提取重要数据，存储到item中定义的字段中； 4. 然后返回yield item到pipeline中进行处理，如去重，存储到mongodb中。