scrapy mysql测试连接_scrapy连接MySQL

Scrapy中连接MySQL所需要做的工作如下：

1.settings中需要设置的部分

#启动管道组件

ITEM_PIPELINES ={‘QianChengWuYu.mongoDBPiplelines.MongoDBPipline‘: 300,

}

#mysql的连接参数

MYSQL_DB_NAME = ‘qianchengwuyu‘MYSQL_HOST= ‘localhost‘MYSQL_USER= ‘‘MYSQL_PASSWORD= ‘‘

(1)其中ITEM_PIPELINES中设置的是QianChengWuyu项目中的管道文件mongoDBPiplelines中的MongoDBPipline类，优先级是300

(2)其中MYSQL_DB_NAME 为mysql中的数据库，MYSQL_HOST 为指定登录的IP 这里是localhost；

以及MYSQL_USER 为数据库用户名，MYSQL_PASSWORD 为数据库用户密码

2.scrapy中piplines文件如下：

1)正常插入，导入pymysql模块

importpymysql

"""

这个类用于scrapy中数据向MYSQL数据库中插入数据

"""classQianchengwuyuPipeline(object):defopen_spider(self, spider):

"""

该方法用于创建数据库连接池对象并连接数据库

"""

db= spider.settings.get(‘MYSQL_DB_NAME‘, ‘scrapy_default‘)