python操作mysql数据库(百库百表)

问题描述：
    今天下午跑某项目db需求，百库百表清脏数据，然后自己写了个python脚本，跑完之后通知项目，然后项目给玩家发奖励了，结果悲催了，所有的mysql操作没有执行成功(没有报错，因而以为执行成功)。

以下是我的python脚本，传两个文件作为参数，host.txt 以及 update.sql
    

点击(此处)折叠或打开

1. #!/usr/bin/env python
   
2. # -*- coding: UTF-8 -*-
   
3. 
   
4. 
   
5. import sys
   
6. import MySQLdb
   
7. import datetime
   
8. 
   
9. 
   
10. 
    
11. dbuser = 'xxx'
    
12. dbpwd = 'xxx'
    
13. 
    
14. DB_NUM = 100
    
15. TB_NUM = 100
    
16. args = sys.argv
    
17. if len(args)!=3:
    
18.                 print "USAGE: %s host.txt update.sql" % args[0]
    
19.                 sys.exit()
    
20. 
    
21. start = datetime.datetime.now()
    
22. print "Start Time : %s " % start.strftime('%Y-%m-%d %H:%M:%S')
    
23. 
    
24. hostfile = args[1]
    
25. sqlfile = args[2]
    
26. 
    
27. rhost = open(hostfile)
    
28. hostlist = rhost.readlines()
    
29. rhost.close()
    
30. 
    
31. 
    
32. rsqls = open(sqlfile)
    
33. sqllist = rsqls.readlines()
    
34. rsqls.close()
    
35. 
    
36. for host in hostlist:
    
37.                 host = host.strip()
    
38.                 ip = host.split(' ')[0]
    
39.                 pt = host.split(' ')[1]
    
40.                 conn = MySQLdb.connect(ip,dbuser,dbpwd,port=int(pt))
    
41.                 cursor = conn.cursor()
    
42.                 cursor.execute('SET NAMES UTF8')
43. 
    
44.                 sqls = []
    
45.                 for i in range(DB_NUM):
    
46.                         sqls.append("%s" % str(i).zfill(2))
    
47.                 for sql in sqls:
    
48.                         db=sql
    
49.                         #print 'ip=%s ; port=%s ; db=%s' % (ip,pt,db)
    
50.                         for j in range(TB_NUM):
    
51.                                 if TB_NUM > 10:
    
52.                                         j = str(j).zfill(2)
    
53.                                 for sql in sqllist:
    
54.                                         ct = sql.strip() % (db,str(j))
55.                                         cursor.execute(ct)
    
56.                                         print ct
    
57. 
    
58.                 conn.close()
    
59. end= datetime.datetime.now()
    
60. print "End Time : %s " % end.strftime('%Y-%m-%d %H:%M:%S')

update.sql如下：

点击(此处)折叠或打开

1. delete from XSY_%s.t_xsy_equip_cloth_%s where (clothid >= 201675 and clothid <= 201700) or (clothid >= 201725 and clothid <= 201751);

host.txt如下：

点击(此处)折叠或打开

1. 192.168.xx.xx 3306

每执行一条语句都print出来，结果是成功打印出了10000条，但是上库看binlog日志并没有任何记录，数据也没有变化

解决：
    临时写了个shell脚本，跑完需求，成功执行。
    其中传入的$1为包含10000条操作的delete语句文件

点击(此处)折叠或打开

1. #!/bin/bash
4. user=xxx
5. pwd=xxx
7. while read sql
8. do
9. echo $sql
10. /usr/bin/mysql -h"192.168.xxx.xx" -P3306 -utab -ptab -e "${sql}"
11. done < $1

发现问题：

    开始以为自己远端没有执行，然后重新在test库上使用以上python脚本create百表，登上去查看，发现操作成功。
    但是insert、update、以及delete操作无效。

    查资料得知，mysql的ddl操作是隐式提交的，而dml是需要显示commit才能提交 成功，而我的这个python脚本没有调用cursor.commit()，故而close之后并没有提交相应的操作。

    这里要区分shell中连接执行和python MySQLdb模块中连接执行的区别：
    
    ①shell中写的是连接到库上默认autocommit是开启的，故而执行时自动提交的，
    ②而pyrhon的该模块在dml操作之后调用 conn.commit()显示提交或者在连接mysql之后执行设置conn.autocommit(1)。这是由于MySQLdb模块在连接mysql之后关闭了自动提交。需要注意的是这里针对的是innodb存储引擎，因为mysaim不支持事务
    

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31385648/viewspace-2125719/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31385648/viewspace-2125719/