存储数据到mysql数据库中_SCRAPY:如何将数据存储到Mysql数据库中

我在尝试将数据存储到mysql数据库时遇到了一个问题:我得到了以下错误:(screenshot here)

我的代码在管道.py是class SQLStorePipeline(object):

def __init__(self):

self.dbpool = adbapi.ConnectionPool('localhost', db='python',

user='root', passwd='', cursorclass=MySQLdb.cursors.DictCursor,

charset='utf8', use_unicode=True)

def process_item(self, item, spider):

# run db query in thread pool

query = self.dbpool.runInteraction(self._conditional_insert, item)

query.addErrback(self.handle_error)

return item

def _conditional_insert(self, tx, item):

# create record if doesn't exist.

# all this block run on it's own thread

tx.execute("select * from test where name = %s", (item['name'][0], ))

result = tx.fetchone()

if result:

log.msg("Item already stored in db: %s" % item, level=log.DEBUG)

else:

tx.execute(\

"insert into test (name, price) "

"values (%s, %s)",

(item['link'][0],

datetime.datetime.now())

)

log.msg("Item stored in db: %s" % item, level=log.DEBUG)

def handle_error(self, e):

log.err(e)

(我从here取的)。在

我的解析类是:

^{pr2}$

我知道这个问题已经被问过了,但是我在问之前尝试了所有不同的答案,但是没有一个有效。。。在

有人能帮我吗?提前谢谢你!在

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值