在将scrapy中的数据存储到mysql中,出现部分数据插入不进去的问题, 一直报:
You have an error in your SQL syntax;
mysql相对于mongo来说,对数据要严格些,有时候,很多SQL
语句写对了,还是插不进去数据。针对上面的问题,我使用了一个pymysql中的方法file_count = pymysql.escape_string(item['file_content'])
,这样就成功的把数据插入到MySQL中了。
下面贴一下全部的代码:
class MysqlPipeline(object):
def __init__(self):
self.host = settings.DB_HOST
self.port = settings.DB_PORT
self.user = settings.DB_USER
self.pwd = settings.DB_PWD
self.name