scrapy数据存入mysql_Scrapy爬虫实例教程（二）---数据存入MySQL

本文将详细描述使用scrapy爬去左岸读书所有文章并存入本地MySql数据库中，文中所有操作都是建立在scrapy已经配置完毕，并且系统中已经安装了Mysql数据库(有权限操作数据库)。

为了避免读者混淆，这里也使用tutorial作为scrapy project名称(工程的名字可以有读者自己定制)。

1. 建立tutorial工程

1 scrapy startproject tutorial

上述命令运行完毕后会得到tutorial(或者自定义名称)的目录，使用tree命令可以查看tutorial的目录结构，如下图所示

2. 解析左岸文章结构

左岸读书为读者提供了一些优美文章，喜欢的读者可以自行订阅(在这里提博主打广告啦[不用谢^_^])

站中所有文章都以列表的形式列出，每篇文章链接都给出了文章摘要和相应的信息(如作者，发布时间，分类信息，阅读量等信息)在列表底端给出了下一个列表的链接，具体如下图所示

点击相应的文章题目可以链接到具体的文章内容页面，读者可以自己实验试下，这里不再赘述。

3. 建立mysql数据库

建立mysql数据库 crawed

1 create databasecrawed;2 use crawed;

在数据库中建立zreading数据表，这里我们要抓取文章标题，作者，文章发表日期，文章类别，文章标签，阅读量及文章内容，建立如下数据表

1 CREATE TABLE`zreading` (2 `title` varchar(100) NOT NULL,3 `author` varchar(50) NOT NULL,4 `pub_date` varchar(30) DEFAULT NULL,5 `types` varchar(50) DEFAULT NULL,6 `tags` varchar(50) DEFAULT NULL,7 `view_counts` varchar(20) DEFAULT '0',8 `content` text

9 ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

4. 在items.py中编写需要抓取的内容