scrapy学习之爬取顶点小说数据（转）

1.爬取网站

https://www.x23us.com

2.转出处

https://cuiqingcai.com/3472.html

3.遇到的问题

3.1 mysql的模块导入问题

修改为pymysql

3.2 scrapy默认安装的python版本问题

最开始默认是安装到python2.7版本，后面需要重新安装到python3.5的版本

3.3 顶点网站改为https://www.x23us.com

3.4 mysql的安装及库的创建，数据库表的创建

DROP TABLE IF EXISTS `dd_name`;
CREATE TABLE `dd_name` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `xs_name` varchar(255) DEFAULT NULL,
  `xs_author` varchar(255) DEFAULT NULL,
  `category` varchar(255) DEFAULT NULL,
  `name_id` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=38 DEFAULT CHARSET=utf8mb4;

DROP TABLE IF EXISTS `dd_chaptername`;
CREATE TABLE `dd_chaptername` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `xs_chaptername` varchar(255) DEFAULT NULL,
  `xs_content` text,
  `id_name` int(11) DEFAULT NULL,
  `num_id` int(11) DEFAULT NULL,
  `url` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2726 DEFAULT CHARSET=gb18030;
SET FOREIGN_KEY_CHECKS=1;

 

mysql -uroot -p12345678

>show databases;

>use spider;

>创建表语句即可。