本文详细介绍了如何将使用Scrapy爬取的数据存入MySQL数据库，包括安装pymysql、创建数据库和表、编写pipeline、设置及spider文件的编写。在遇到数据保存时出现重复和错误的问题后，通过分析找到了原因——Scrapy的爬取速度与数据库操作速度不匹配，导致变量覆盖。通过修改pipeline中的代码，实现了数据的正确保存。
为了把数据保存到mysql费了很多周折，早上再来折腾，终于折腾好了
安装数据库
1、pip install pymysql(根据版本来装)
2、创建数据
打开终端 键入mysql -u root -p 回车输入密码
create database scrapy (我新建的数据库名称为scrapy)
3、创建表
use scrapy;
create table xiaohua (name varchar(200) ,url varchar(100));
数据库部分就酱紫啦
4、编写pipeline
5、编写setting
6、编写spider文件
最低0.47元/天 解锁文章
535
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
