将word、pdf、excel上的表格搬运至mysql数据库中

问题描述：有一批pdf和word文件，想把里面所有的表格取出放置在excel中，并最终将这些表格放置在mysql数据库中。

刚开始的时候，就是纯手动操作，实在让人太难受了，首先把PDF文件在word中打开，然后手动复制表格到excel中，原表格中存在多级标题栏，因为要入库，所以还要把标题栏修改成一栏，至于上传到数据库，就更麻烦了，刚开始使用导入向导，效率相当低下，后来实在太慢无趣就想到编程解决问题。

首先是将word里的表格提取至excel（PDF可以转化为docx），这里使用python，本来在网上查到的资料大部分是VB的，结果我发现使用python更加简单，又感叹了一声万能的python。使用python 安装docx和openpyxl两个库，一个操作word文档，一个操作excel，都非常简单易用，直接上代码吧。

import docx
import openpyxl

name = 'xxx'
doc = docx.Document(name + ".docx") #打开word文档
wb = openpyxl.Workbook() #新建一个excel工作簿（注意区分工作簿和工作表）
for index, table in enumerate(doc.tables, start =1):
	ws = wb.create_sheet('sheet{}'.format(index)) #对每一个表格新建一个工作表
	for row in table.rows:
		values = list(map(lambda cell:cell.text, row.cells))
		ws.append(values) #把表格里的值复制到这个工作表里
wb.save(name +".xlsx") #保存工作簿

这样就把所有的表格放到了excel中，但是对一些合并的单元格还是有问题，这个并不好用代码解决，需要人去判断标题该如何修改，这一步就只能人工操作了。另外就是每一个工作表还需要人工命名。

好了，下一步，入库。这一步存在的问题就是首先数据库虽然支持中文，但是毕竟大家约定俗称的用英文，因此那就用英文吧，一个个手动打拼音或者英文？NoNoNo，那是在是个折磨人的事，好在万能的python又来了，python不仅能把中文变成拼音，还能访问百度翻译等API来进行英文翻译，我这就直接上拼音了。这里安装xpinyin这个库，他能有效的将中文转化为英文，具体用法在这。

>>> from xpinyin import Pinyin
>>> p = Pinyin()

>>> p.get_pinyin(u"上海")
'shang-hai'
>>> p.get_pinyin(u"上海", tone_marks='marks')
'shàng-hǎi'
>>> p.get_pinyin(u"上海", tone_marks='numbers')
'shang4-hai3'
>>> p.get_pinyin(u"上海", '')
'shanghai'
>>> p.get_pinyin(u"上海", ' ')
'shang hai'
>>> p.get_initial(u"上")
'S'
>>> p.get_initials(u"上海")
'S-H'
>>> p.get_initials(u"上海", u'')
'SH'
>>> p.get_initials(u"上海", u' ')
'S H'

OK，拼音的问题解决了，接下来就是入库了，好在万能的python还能操作数据库，使用pymysql就好啦。具体库的用法请自行百度吧。首先连接数据库

def connectdb():  # 这个函数用来连接数据库
	print('连接数据库中...')
	condb = pymysql.connect(host="", user="", passwd="", db='', charset='utf8', port=)
	print('已连接!')
	return condb

在对应的位置上填入合适的参数就可以啦，之后调用这个函数就可以访问数据库。然后就是打开excel，准备把数据写到数据库里。

xlxsfile='xx.xlsx'

transp = xpinyin.Pinyin()
condb = connectdb()
cursor = condb.cursor()
book = openpyxl.load_workbook(xlxsfile)
names = book.sheetnames

后面就是读取每个excel中的工作表，然后在mysql中新建一张表，再把表中的数据导入就好啦。

for i in range(1,len(names)):
	namevar = 0
	sheet = book.worksheets[i]
	rows = sheet.max_row   #获取行数
	cols = sheet.max_column   #获取列数
	nametem = names[i]
	engnametem = transp.get_initials(nametem, '') #转拼音
	insertcol = '' #这个在后面插入值语句要用到的
	ctsql = "CREATE TABLE IF NOT EXISTS `{}`(".format(ruku + str(i) + '_' + engnametem)
	for col in range(0, cols):
		cell = str(sheet.cell(row=1,column=col+1).value)
		engcell = transp.get_initials(cell, '') #字段名称也要转拼音
		colname = engcell + '_' + str(namevar) 
		namevar += 1
		insertcol = insertcol + colname + ', '#插入数据时使用列的名称
		ctsql += colname + " VARCHAR(500) COMMENT '{}', ".format(cell)
	ctsql =ctsql[:-2] + ')' + "COMMENT = '{}';".format(xlxsfile[:-5] + '_' + nametem)
	insertcol = insertcol[:-2]
	#print(ctsql)
	cursor.execute(ctsql)#新建表
	#后面就是把数据插入表中了
	for row in range(1,rows):
		insertsql = "INSERT INTO `{}`({}) VALUES (".format(ruku + str(i) + '_' + engnametem, insertcol)
		for col in range(0, cols):
			cell = str(sheet.cell(row+1,col+1).value)
			insertsql = insertsql + "'" + cell + "'" + ','
		insertsql = insertsql[:-1] + ')'
		#print(insertsql)
		cursor.execute(insertsql)
	condb.commit()
	print('done:{}/{}'.format(i,len(names)-1))
book.save(xlxsfile[:-5] + '完善.xlsx')
condb.close()

很简单就完成了修改英文加插入数据库的操作。但是有一点要注意的就是sql语句中有很多符号不支持，所以要检查表格的规范性，这次就到这啦！