python mysql多条插入

程序的目的是把文本里面的数据存储到数据库中，原来的思路是读一条，插入一条，结果就是时间长的不得了。。。18万条的数据，真是慢。

后来的想法是把所有的记录都读到一个list里，结果是mysql奔溃go away，毕竟18万条，太多了。

再后来的想法就是满1000条进行一次插入，O(∩_∩)O哈哈~，效果不错，mysql没崩溃，效率提高了好几个量级。

import MySQLdb
import codecs

def FileToDatabase(file):
    conn = MySQLdb.connect(host='yourhost',user='username',passwd='yourpwd',db='yourdb')
    curs = conn.cursor()
    fp = codecs.open(file,'r','gb2312')#文本编码是gb2312，所以以此方式打开
    i = 0
    L = []
    for eachline in fp:
        i = i + 1               
        list = newline.split(',')
        L.append(list)
        if i % 1000 == 0:#满1000插入数据库
            #try:executemany好像不能使用字符串变量如executemany(sql)，如此导致插入失败，还有就是插入整型的时候也不能使用%d，而是%s...
　　　　　　　#当插入的字段并非table的全部字段时，要指定插入的字段及顺序与value内的值一致
                curs.executemany("insert into season1(word1,word2,word3,word4) values(%s,%s,%s,%s)",L)
                conn.commit()#没有提交的话，无法完成插入
                L = []
            #except:
                conn.rollback()
                print 'No.:'+str(i)
        #print newline
    fp.close()
    #try:#将剩余插入数据库
    curs.executemany("insert into season1(word1,word2,word3,word4) values(%s,%s,%s,%s)",L)
    conn.commit()
    #except:
    conn.rollback() 
    conn.close()

对于数据库的rollback还是不太理解，以后有机会再深入了解吧

转载于:https://www.cnblogs.com/idealing/p/3606644.html