仅作参考
第一步:建立数据库连接池
import pymysql
from twisted.enterprise import adbapi
# 异步更新操作
class MySQLPipeline(object):
def __init__(self, dbpool):
self.dbpool = dbpool
@classmethod
def from_settings(cls, settings): # 函数名固定,会被scrapy调用,直接可用settings的值
"""
数据库建立连接
:param settings: 配置参数
:return: 实例化参数
"""
adbparams = dict(
host='#数据库IP',#数据库IP
db='数据库名称',#数据库名称
user='数据库用户名',#数据库用户名
password='数据库用户密码',#数据库用户密码
cursorclass=pymysql.cursors.DictCursor # 指定cursor类型
)
# 连接数据池ConnectionPool,使用pymysql或者Mysqldb连接
dbpool = adbapi.ConnectionPool('pymysql', **adbparams)
# 返回实例化参数
return cls(dbpool)
def