pyspider的mysql数据存储接口

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2015-03-12
'''
pyspider结果保存到数据库简单样例。
使用方法:
    1, 把本文件放到pyspider/pyspider/database/mysql/目录下命名为mysqldb.py;
    2, 建立相应的表和库;
    3, 在脚本文件里使用from pyspider.database.mysql.mysqldb import ToMysql引用本代码;
    4, 重写on_result方法.
'''
from six import itervalues
import MySQLdb

class ToMysql():
	
	def __init__(self,kwargs):
		'''
		kwargs = {  'host':'localhost',
					'user':'root',
					'passwd':'root',
					'db':'others',
					'charset':'utf8'}
		'''
		hosts    = kwargs['host']	
		username = kwargs['user']
		password = kwargs['passwd']
		database = kwargs['db']
		charsets = kwargs['charset']
		
		self.connection = False
		try:
			self.conn = MySQLdb.connect(host = hosts,user = username,passwd = password,db = database,charset = charsets)
			self.cursor = self.conn.cursor()
			self.cursor.execute("set names "+charsets)
			self.connection = True
		except Exception,e:
			print "Cannot Connect To Mysql!/n",e
			
	def escape(self,string):
		return '%s' % string
		
	def into(self,tablename=None,**values):
		
		if self.connection:	
			tablename = self.escape(tablename)	
			if values:
				_keys = ",".join(self.escape(k) for k in values)
				_values = ",".join(['%s',]*len(values))
				sql_query = "insert into %s (%s) values (%s)" % (tablename,_keys,_values)
			else:
				sql_query = "replace into %s default values" % tablename
			try:
				if values:
					self.cursor.execute(sql_query,list(itervalues(values)))
				else:		
					self.cursor.execute(sql_query)
				self.conn.commit()
				return True
			except Exception,e:
				print "An Error Occured: ",e
				return False
			

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zilangboya

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值