scrapy item mysql,Scrapy爬虫框架将数据保存Mysql数据库中

settings.py

修改Mysql的配置信息

#Mysql数据库的配置信息

MYSQL_HOST = '127.0.0.1'

MYSQL_DBNAME = 'testdb' #数据库名字，请修改

MYSQL_USER = 'root' #数据库账号，请修改

MYSQL_PASSWD = '123456' #数据库密码，请修改

MYSQL_PORT = 3306 #数据库端口，在dbhelper中使用

指定pipelines

ITEM_PIPELINES = {

'webCrawler_scrapy.pipelines.WebcrawlerScrapyPipeline': 300,#保存到mysql数据库

}

items.py

声明需要格式化处理的字段

class WebcrawlerScrapyItem(scrapy.Item):

'''定义需要格式化的内容(或是需要保存到数据库的字段)'''

# define the fields for your item here like:

# name = scrapy.Field()

name = scrapy.Field() #修改你所需要的字段

url = scrapy.Field()

pipelines.py

一、保存到数据库的类WebcrawlerScrapyPipeline(在settings中声明)

定义一个类方法from_settings，得到settings中的Mysql数据库配置信息，得到数据库连接池dbpool

@classmethod

def from_settings(cls,settings):

'''1、@classmethod声明一个类方法，而对于平常我们见到的则叫做实例方法。

2、类方法的第一个参数cls(class的缩写，指这个类本身)，而实例方法的第一个参数是self，表示该类的一个实例

3、可以通过类来调用，就像C.f()，相当于java中的静态方法'''

dbparams=dict(

host=settings['MYSQL_HOST'],#读取settings中的配置

db=settings['MYSQL_DBNAME'],

user=settings['MYSQL_USER'],

passwd=settings['MYSQL_PASSWD'],

charset='utf8',#编码要加上，否则可能出现中文乱码问题

cursorclass=MySQLdb.cursors.DictCursor,

use_unicode=False,

)

dbpool=adbapi.ConnectionPool('MySQLdb',**dbparams)#**表示将字典扩展为关键字参数,相当于host=xxx,db=yyy....

return cls(dbpool)#相当于dbpool付给了这个类，self中可以得到

__init__中会得到连接池dbpool

def __init__(self,dbpool):

self.dbpool=dbpool

process_item方法是pipeline默认调用的，进行数据库操作

#pipeline默认调用

def process_item(self, item, spider):

query=self.dbpool.runInteraction(self._conditional_insert,item)#调用插入的方法

query.addErrback(self._handle_error,item,spider)#调用异常处理方法

return item

插入数据库方法_conditional_insert

#写入数据库中

def _conditional_insert(self,tx,item):

#print item['name']

sql="insert into testpictures(name,url) values(%s,%s)"

params=(item["name"],item["url"])

tx.execute(sql,params)

错误处理方法_handle_error

#错误处理方法

def _handle_error(self, failue, item, spider):

print failue