1.进入scrapy的项目所在的目录创建项目scrapy startproject cmfg_registerMoney_crawel;
2.进入创建项目的目录: cd cmfg_registerMoney_crawel
3.创建spider: scrapy genspider xinBaidu 网址
4.打开项目,目录的结构如图:
5. 解析scrapy框架结构:
scrapy.cfg
: 项目的配置文件。- cmfg_registerMoney_crawel
/
: 该项目的python模块。之后您将在此加入代码。 - cmfg_registerMoney_crawel
/items.py
: 项目中的item文件,保存的字段属性。 - cmfg_registerMoney_crawel
/pipelines.py
: 项目中的pipelines文件。 - cmfg_registerMoney_crawel
/settings.py
: 项目的设置文件。 - cmfg_registerMoney_crawel
/spiders/
: 放置spider代码的目录。
6. scrapy的框架的原理 :
1.从spider开始,如果spider没有start_requests方法时,则从start_url这个url爬起;如果有start_requests方法时,则忽略start_url。2. 接着将start_requests中的url和参数等一些信息传到Middleware进行处理;3. 然后将响应的页面传到Spider中的parse中进行解析,提取重要数据,存储到item中定义的字段中; 4. 然后返回yield item到pipeline中进行处理,如去重,存储到mongodb中。