python写入mysql数据库_python3 两种方法将数据存入mysql数据库

方法一：（数据量小的时候推荐使用这种）

第一步：pip install mysqlclient

这里我没有报错 也许你可能会报错Read timed out 此时不要慌，这是因为你的网络问题，你使用豆瓣源再次下载：pip install -i https://pypi.douban.com/simple/ mysqlclient

注意：以下针对linux用户（乌班图）：可能这时你会报错安装失败，解决方法：

安装命令：sudo apt-get install libmysqlclient-dev

linux用户（centOs）：

安装命令：sudo yum install python-devel mysql-devel

1，在pipeline.py中写入如下代码：

import MySQLdb

#采用同步的机制写入mysql

class MysqlPipeline(object):

def __init__(self):

self.conn = MySQLdb.connect('localhost','root','root','article_spider',charset='utf8',use_unicode=True)

self.cursor = self.conn.cursor()

def process_item(self,item,spider):

insert_sql = """ insert into article(title,create_date,url,fav_nums) VALUES(%s,%s,%s,%s)"""

self.cursor.execute(insert_sql,(item['title'],item['create_date'],item['url'],item['fav_nums']))

self.conn.commit()

2，在settings.py中写入如下代码：

ITEM_PIPELINES ={'ArticleSpider.pipelines.MysqlPipeline':1,

}

以上是一种插入数据库的方法，下面还有一种：mysql插入的异步方法

**********************************************************************华丽的分割线 ******************************************************************************

方法二：（数据量大的时候推荐使用这种，异步插入关系型数据库）

1，首先在settings.py中配置

MYSQL_HOST = 'localhost'

MYSQL_DBNAME ='article_spider'

MYSQL_USER = 'root'

MYSQL_PASSWORD = 'root'

2，在pipelines.py中贴入代码：

from twisted.enterprise import adbapi

import MySQLdb

import MySQLdb.cursors

#mysql插入的异步化,twisted 提供的异步api

class MysqlTwistedPipline(object):

def __init__(self,dbpool):

self.dbpool = dbpool

@classmethod#方法是固定的,会被spider调用的

def from_settings(cls,settings):

dbparms = dict(

host = settings['MYSQL_HOST'],

db = settings['MYSQL_DBNAME'],

user = settings['MYSQL_USER'],

passwd = settings['MYSQL_PASSWORD'],

charset = 'utf8',

cursorclass = MySQLdb.cursors.DictCursor,

use_unicode = True

)

#**dbparms代表可变化的参数

dbpool = adbapi.ConnectionPool("MySQLdb",**dbparms)

return cls(dbpool)

def process_item(self,item,spider):

#使用twisted将mysql插入变成异步执行

query = self.dbpool.runInteraction(self.do_insert,item)

query.addErrback(self.handle_error,item,spider)

#c处理异步插入的异常

def handle_error(self,failure,item,spider):

print(failure)

def do_insert(self,cursor,item):

#执行具体的插入

insert_sql = """ insert into article(title,create_date,url,fav_nums) VALUES(%s,%s,%s,%s)"""

cursor.execute(insert_sql,(item['title'],item['create_date'],item['url'],item['fav_nums']))

致辞插入数据库的方法完成。喜欢的记得点个赞哦。。。谢谢谢谢~~