- 因为需要对数据处理,将excel数据导入到数据库,记录一下过程。
- 使用到的库:xlrd 和 pymysql (如果需要写到excel可以使用xlwt)
- 直接丢代码,使用python3,注释比较清楚。
-
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
import
xlrd
import
pymysql
# import importlib
# importlib.reload(sys) #出现呢reload错误使用
def
open_excel():
try
:
book
=
xlrd.open_workbook(
"XX.xlsx"
)
#文件名,把文件与py文件放在同一目录下
except
:
print
(
"open excel file failed!"
)
try
:
sheet
=
book.sheet_by_name(
"sheet名称"
)
#execl里面的worksheet1
return
sheet
except
:
print
(
"locate worksheet in excel failed!"
)
#连接数据库
try
:
db
=
pymysql.connect(host
=
"127.0.0.1"
,user
=
"root"
,
passwd
=
"XXX"
,
db
=
"XXX"
,
charset
=
'utf8'
)
except
:
print
(
"could not connect to mysql server"
)
def
search_count():
cursor
=
db.cursor()
select
=
"select count(id) from XXXX"
#获取表中xxxxx记录数
cursor.execute(select)
#执行sql语句
line_count
=
cursor.fetchone()
print
(line_count[
0
])
def
insert_deta():
sheet
=
open_excel()
cursor
=
db.cursor()
for
i
in
range
(
1
, sheet.nrows):
#第一行是标题名,对应表中的字段名所以应该从第二行开始,计算机以0开始计数,所以值是1
name
=
sheet.cell(i,
0
).value
#取第i行第0列
data
=
sheet.cell(i,
1
).value
#取第i行第1列,下面依次类推
print
(name)
print
(data)
value
=
(name,data)
print
(value)
sql
=
"INSERT INTO XXX(name,data)VALUES(%s,%s)"
cursor.execute(sql,value)
#执行sql语句
db.commit()
cursor.close()
#关闭连接
insert_deta()
db.close()
#关闭数据
print
(
"ok "
)
XXX里自行修改自己的名称。
- 说明:对于不规则的单元格,例如合并过的单元格会取到空值。
- 有机会把数据库写到excel贴上来。
- 优化了一下这个程序
-
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
import
pymysql
import
xlrd
# 连接数据库
try
:
db
=
pymysql.connect(host
=
"127.0.0.1"
, user
=
"root"
,
passwd
=
"XXX"
,
db
=
"XXX"
,
charset
=
'utf8'
)
except
:
print
(
"could not connect to mysql server"
)
def
open_excel():
try
:
book
=
xlrd.open_workbook(
"XXX.xlsx"
)
#文件名,把文件与py文件放在同一目录下
except
:
print
(
"open excel file failed!"
)
try
:
sheet
=
book.sheet_by_name(
"XXX"
)
#execl里面的worksheet1
return
sheet
except
:
print
(
"locate worksheet in excel failed!"
)
def
insert_deta():
sheet
=
open_excel()
cursor
=
db.cursor()
row_num
=
sheet.nrows
for
i
in
range
(
1
, row_num):
# 第一行是标题名,对应表中的字段名所以应该从第二行开始,计算机以0开始计数,所以值是1
row_data
=
sheet.row_values(i)
value
=
(row_data[
0
],row_data[
1
],row_data[
2
],row_data[
3
])
print
(i)
sql
=
"INSERT INTO demo_yangben(xxx,xxxx,xxxx,xxxx)VALUES(%s,%s,%s,%s)"
cursor.execute(sql, value)
# 执行sql语句
db.commit()
cursor.close()
# 关闭连接
open_excel()
insert_deta()
- 再改一下,每一万条数据写入到数据库一次
-
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
import
pymysql
import
xlrd
import
sys
'''
连接数据库
args:db_name(数据库名称)
returns:db
'''
def
mysql_link(de_name):
try
:
db
=
pymysql.connect(host
=
"127.0.0.1"
, user
=
"xxx"
,
passwd
=
"xxx"
,
db
=
xxx,
charset
=
'utf8'
)
return
db
except
:
print
(
"could not connect to mysql server"
)
'''
读取excel函数
args:excel_file(excel文件,目录在py文件同目录)
returns:book
'''
def
open_excel(excel_file):
try
:
book
=
xlrd.open_workbook(excel_file)
# 文件名,把文件与py文件放在同一目录下
print
(sys.getsizeof(book))
return
book
except
:
print
(
"open excel file failed!"
)
'''
执行插入操作
args:db_name(数据库名称)
table_name(表名称)
excel_file(excel文件名,把文件与py文件放在同一目录下)
'''
def
store_to(db_name, table_name, excel_file):
db
=
mysql_link(db_name)
# 打开数据库连接
cursor
=
db.cursor()
# 使用 cursor() 方法创建一个游标对象 cursor
book
=
open_excel(excel_file)
# 打开excel文件
sheets
=
book.sheet_names()
# 获取所有sheet表名
for
sheet
in
sheets:
sh
=
book.sheet_by_name(sheet)
# 打开每一张表
row_num
=
sh.nrows
print
(row_num)
list
=
[]
# 定义列表用来存放数据
num
=
0
# 用来控制每次插入的数量
for
i
in
range
(
1
, row_num):
# 第一行是标题名,对应表中的字段名所以应该从第二行开始,计算机以0开始计数,所以值是1
row_data
=
sh.row_values(i)
# 按行获取excel的值
value
=
(row_data[
0
], row_data[
1
], row_data[
2
], row_data[
3
], row_data[
4
], row_data[
5
], \
row_data[
6
], row_data[
7
], row_data[
8
], row_data[
9
], row_data[
10
], row_data[
11
], row_data[
12
],
row_data[
13
], row_data[
14
])
list
.append(value)
# 将数据暂存在列表
num
+
=
1
if
( num>
=
10000
):
# 每一万条数据执行一次插入
print
(sys.getsizeof(
list
))
sql
=
"INSERT INTO "
+
table_name
+
" (time, xingbie, afdd, xzb, yzb, cfbj, jjlbmc, \
bjlbmc, bjlxmc, bjlxxlmc, gxqymc,gxdwmc, afql, afxqxx, cjdwmc)\
VALUES(
%
s,
%
s,
%
s,
%
s,
%
s,
%
s,
%
s,
%
s,
%
s,
%
s,
%
s,
%
s,
%
s,
%
s,
%
s)"
cursor.executemany(sql,
list
)
# 执行sql语句
num
=
0
# 计数归零
list
.clear()
# 清空list
print
(
"worksheets: "
+
sheet
+
" has been inserted 10000 datas!"
)
print
(
"worksheets: "
+
sheet
+
" has been inserted "
+
str
(row_num)
+
" datas!"
)
db.commit()
# 提交
cursor.close()
# 关闭连接
db.close()
if
__name__
=
=
'__main__'
:
store_to(
'demo'
,
'demo_yangben'
,
'xxx.xlsx'
)
- 思考,如果数据插入有错误,怎么解决,
- 其实有很多数据库工具可以直接来解决这个问题,注意字符转换的格式就好。
python如何把excel数据导入数据库
最新推荐文章于 2024-07-11 17:51:51 发布