爬虫必备-mysqldb-海量数据解决方案

任何应用都离不开数据，所以在学习python的时候，当然也要学习一个如何用python操作数据库了。MySQLdb就是python对mysql数据库操作的模块。
1.安装 
    pip install -U mysqldb
2.使用
    话不多说~demo是最快理解工具的不二法门

#-*- encoding:utf-8 -*-_

'''

Created on 2017-4-7

@author: dingxianghe

'''

import   MySQLdb



#指定host、prot、用户名、密码、默认数据库

host = '196.168.2.202'     
port = 3306
user = 'username'
passwd = 'password' 
dbname = 'testCase' 

#连接数据库
db =   MySQLdb.Connect( host =  host  ,    
                      port =  port  ,
                      user =  user  ,
                      passwd =  passwd  ,
                      dbname =  dbname    )


# 获取数据库焦点光标
cursor = db.cursor()

#定义SQL语句
sql = "select * from table where a=1"

#尝试执行SQL语句，正确就提交，错误就回滚
try:
    cursor.execute(sql)
    commit()
except Exception,e:   

    print Exception,":",e 
    rollback()  

 
#打印第一条数据
result = cursor.fetchone()
print result

#打印3条 数据（ 注意由于之前执行有了fetchone()，所以游标已经指到第二条记录了，也就是从第二条开始的3条记录 ）

result = cursor. fetchmany (3)
for row in sesult:
    print row
 
#打印所有数据（从第4条数据开始）
result = cursor.fetchall ()
for row in sesult:
    print row

values=[]
#生成插入的参数值
for i in range(20):  
      values.append((i,'Hello mysqldb, I am recoder ' + str(i)))

#批量插入数据 
cursor.executemany(‘insert into test values(%s,%s) ',values)

#关闭数据库
db.close()



至于delete,updata 依葫芦画瓢就是了~   批量执行会提高执行效率~  数据量大时~ 强烈推荐使用~