将爬取到的数据一份存储到本地一份存储到数据库,如何实现?
管道文件中一个管道类对应的是将数据存储到一种平台
爬虫文件提交的item只会给管道文件中第一个被执行的管道类接收
process_item 中 return item 表示将item传递给下一个即将被执行的管道类
数据库Mysql操作(创建表并添加数据):
启动mysql:net start mysql
进入mysql:mysql -u root -p
创建数据库: create database xxx(表名称);
查看数据库:show databases;
创建表: user xxx(数据库名称);
create table xxx(表名称) (
id int not null auto_increment primary key,(设置id为自增长)
title varchar(255) not null,
content varchar(255) not null);
插入数据:insert into xxx(表名称) (title,content) values (xxx,xxx);
在pieline.py文件中添加类:
写入成功: