scrapy框架爬取7普数据并存到数据库

1.pycharm终端创建一个工程：scrapy startproject xxxPro（先安装pip install scrapy）
项目目录如上。
2.cd qipuPro中去
3.在spiders子目录中创建一个爬虫文件
- scrapy genspider spiderName www.xxx.com
- 设置一些setting配置
-
4.
- 1.数据解析(5列，在数据库创建一个数据库，并建一个age表)
-

• 2.在item类中定义相关的属性
• - 3.将解析的数据封装存储到item类型的对象
  
  4.将item类型的对象提交给管道进行持久化存储的操作
  

5.在管道类的process_item中要将其接受到的item对象中存储的数据进行持久化存储操作

6.在配置文件中开启管道
这三个也要开启。

ok

    -