爬虫必备-mysqldb-海量数据解决方案

任何应用都离不开数据,所以在学习python的时候,当然也要学习一个如何用python操作数据库了。MySQLdb就是python对mysql数据库操作的模块。
1.安装 
    pip install -U mysqldb
2.使用
    话不多说~demo是最快理解工具的不二法门
#-*- encoding:utf-8 -*-_
'''
Created on 2017-4-7
@author: dingxianghe
'''
import MySQLdb

#指定host、prot、用户名、密码、默认数据库
host = '196.168.2.202'     
port = 3306
user = 'username'
passwd = 'password' 
dbname = 'testCase' 

#连接数据库
db =  
MySQLdb.Connect(host = host ,    
                      port = port ,
                      user = user ,
                      passwd = passwd ,
                      dbname = dbname  )

# 获取数据库焦点光标
cursor = db.cursor()

#定义SQL语句
sql = "select * from table where a=1"

#尝试执行SQL语句,正确就提交,错误就回滚
try:
    cursor.execute(sql)
    commit()
except Exception,e:   
    print Exception,":",e 
    rollback()  
 
#打印第一条数据
result = cursor.fetchone()
print result

#打印3条数据(注意由于之前执行有了fetchone(),所以游标已经指到第二条记录了,也就是从第二条开始的3条记录
result = cursor.fetchmany(3)
for row in sesult:
    print row
 

#打印所有数据(从第4条数据开始)
result = cursor.fetchall()
for row in sesult:
    print row

values=[]
#生成插入的参数值
for i in range(20): 
     
values.append((i,'Hello mysqldb, I am recoder ' + str(i)))

#批量插入数据 

cursor.executemany(‘insert into test values(%s,%s) ',values)

#关闭数据库
db.close()

至于delete,updata 依葫芦画瓢就是了~   批量执行会提高执行效率~  数据量大时~ 强烈推荐使用~
展开阅读全文

没有更多推荐了,返回首页