Python3 加xlrd实现xls文件插入mysql

0x00序言

老师给的项目，其中一个小的模块，需要上传xls文件并将其数据插入数据库。

0x01重点及弯路

1、编码问题

老师提供的xls中有一些字符并不符合标准，所以有时候插入会报错。例如比较典型的就是他其中有一个字无法识别导致的错误，这个bug其实没有任何技术含量，但是它却让我尝试了很久。

2、mysql的规定

建表之时就出现的问题，mysql中表的字段名称不能包含-这个符号，而老师提供的xls文件中偏偏有一个字段中带有-符号。两种解决方法。更改xls文件，和甲方说明原因，如果可以更改最好。或者在程序内处理，即读出xls文件后单个去除，不过这种效率不高，很容易造成新的bug，而且普适性不强。

3、特殊问题

读xls文件中某一个字段时，明明是空的，但是却读出了\n\n\n这样的三个回车符，而且没有带转义，如果直接操作，在python中可能会出错。因为我个人对xls没有研究，只是利用xlrd实现一个小模块，所以我也只能针对于这个问题单独处理，但是这样却可能产生新的bug。

4、调试

调试过程中，如果程序已经调试到mysql执行语句的时候仍然没有出错，但是在执行时却出错了，就一定要小心了，因为pymysql和mysql执行的时候其实有一些细小的区别，虽然大部分情况可以忽略不记，但是在调试的时候确是一个关键点。

0x02实现

---

import os
import xlrd
import pymysql