Python 批量插入100万级数据到Excel文件(简洁版)

  引言

  python是一门开发语言,可以用来写大型项目,也可以用来写脚本,比如自动化脚本,也可以用来写工具。

  背景

  我们平时做测试,不一定做自动化测试才用去python,做功能测试,也就是点点点,也可以把它用起来。

  比如,我现在页面有一个功能,导入的功能,我想测它最大支持多少数据量导入,或者说多大的文件导入,那么我们得在excel中写入很多条数据(导入模板是xls,xlsx)。

  如果是自己手一条一条去弄,显然不现实,数据量不多还好,如果是100万呢,500万呢,1000万呢....

  那么,这个时候可以利用python写个脚本,一秒生成百万级+的excel文件。

  案例实现

  我就将我实际项目遇到的情况拿出来讲。

  背景:

  1、导入功能;

  2、导入模板excel;

  3、导入数据格式,两列数据,数据格式不限制。

  根据需求,我想测这个导入支持多大的数据量以及达到最大的时候,页面提示什么信息,是报错,还是温馨提示呢?那么就得写这样的一个向excel批量插入数据的脚本:

from xlwt import Workbook

#创建一个工作簿
w = Workbook()
#创建一个工作表
ws = w.add_sheet('1')
# 计数
count = 0
# 行数
link_nums = 5000
for j in range(0,2):     #控制列
    for i in range(0, link_nums):   #控制行
        count += 1

        if(j == 0):         #第一列
            ws.write(i, j, i)
        if(j == 1):
            ws.write(i,j,i)


print("总共生成(单元格): %s数据"%count)
print("总共生成: %s条数据"%link_nums)

w.save('xqtest.xls')

  

  运行结果:

总共生成(单元格): 10000数据
总共生成: 5000条数据

Process finished with exit code 0

  打开excel文件查看:

 

 运行时长:

总共生成(单元格): 10000数据
总共生成: 5000条数据
Running time: 7.293443303871468e-07 Seconds 

Process finished with exit code 0

 

  拿着生成的excel文件,操作导入,结果报错:

 

  然后测试了这个导入功能,果然是有bug,已经反馈给开发修改了。

 

  总结

 

  方法基本上就是这样,具体根据自己业务需要进行设计。

  另外,对测试开发,自动化测试,全栈测试相关技术感兴趣的朋友,可以加入到群里学习和探索交流,进群方式,扫下方二维码。

  • 1
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: 好的,这是如何使用 Python 批量插入 Excel 中的数据到 SQL Server 的示例代码: 1. 首先,需要安装 pyodbc 模块,这是用来连接 SQL Server 的工具。可以使用如下命令安装: ``` pip install pyodbc ``` 2. 然后,连接到 SQL Server 数据库,并获取数据库的连接对象。 ```python import pyodbc # 连接字符串 conn_str = 'DRIVER={ODBC Driver 17 for SQL Server};SERVER=server_name;DATABASE=database_name;UID=username;PWD=password' # 连接数据库 cnxn = pyodbc.connect(conn_str) # 获取数据库的游标 cursor = cnxn.cursor() ``` 3. 读取 Excel 文件中的数据,并使用游标执行 SQL 插入语句将数据插入数据库中。 ```python # 导入 openpyxl 模块,用于读取 Excel 文件 import openpyxl # 读取 Excel 文件 wb = openpyxl.load_workbook('file.xlsx') # 获取工作表 ws = wb.active # 遍历工作表中的所有行 for row in ws.rows: # 获取行中的数据 col1 = row[0].value col2 = row[1].value col3 = row[2].value # 构造插入语句 sql = f"INSERT INTO table_name (col1, col2, col3) VALUES ({col1}, {col2}, {col3})" # 执行插入语句 cursor.execute(sql) # 提交事务 cnxn.commit() # 关闭游标和数据库连接 cursor.close() cnxn.close() ``` 希望这个示例代码能帮到你。 ### 回答2: 要批量插入Excel中的数据到SQL Server数据库,我们可以使用Python中的openpyxl和pyodbc库来完成这个任务。 首先,我们需要安装所需的库。在命令行中输入以下命令来安装这些库: ``` pip install openpyxl pip install pyodbc ``` 然后,我们需要连接到SQL Server数据库。在Python中,我们可以使用pyodbc库来实现这一点。以下是一个连接到数据库的示例代码: ```python import pyodbc # 连接到数据库 conn = pyodbc.connect("Driver={SQL Server};" "Server=<服务器名称>;" "Database=<数据库名称>;" "Trusted_Connection=yes;") cursor = conn.cursor() ``` 接下来,我们需要读取Excel文件中的数据。在Python中,我们可以使用openpyxl库来读取和操作Excel文件。以下是一个读取Excel数据的示例代码: ```python from openpyxl import load_workbook # 加载Excel文件 wb = load_workbook('<Excel文件路径>') # 选择工作表 ws = wb.active # 循环遍历每一行的数据 for row in ws.iter_rows(min_row=2, values_only=True): # 将每一行的数据插入数据库中 cursor.execute("INSERT INTO <表名> VALUES (?, ?, ...)", row) conn.commit() ``` 在上面的代码中,我们使用了`ws.iter_rows()`方法来迭代每一行的数据,并使用`values_only`参数来获取每一行的数据值。然后,我们执行SQL插入语句将数据插入到SQL Server数据库中,并使用`conn.commit()`方法来提交更改。 最后,记得关闭数据库连接。以下是一个关闭数据库连接的示例代码: ```python # 关闭数据库连接 cursor.close() conn.close() ``` 整个过程就是这样。通过使用openpyxl库读取Excel中的数据,并使用pyodbc库连接到SQL Server数据库并执行插入操作,我们就可以批量插入Excel中的数据到SQL Server数据库了。 ### 回答3: Python批量插入Excel中的数据到SQL Server可以通过以下步骤实现: 1. 首先,我们需要安装相应的库。在Python中有一些库可以帮助我们处理Excel文件,比如openpyxl和pandas,还有pymssql库用于连接和执行SQL Server数据库操作。可以通过pip安装这些库。 2. 打开Excel文件,并使用openpyxl或pandas库读取Excel中的数据。这些库提供了简单易用的方法来读取Excel文件中的数据。 3. 连接到SQL Server数据库。使用pymssql库提供的方法,创建一个数据库连接对象,并传入数据库服务器的相关信息,比如服务器名称、用户名、密码、数据库名称等。 4. 创建一个游标对象,并使用该游标对象执行插入数据的SQL语句。可以使用pymssql库提供的executemany方法,将读取的Excel数据批量插入到SQL Server数据库中。 5. 最后,提交事务并关闭数据库连接。 下面是一个简单的示例代码: ```python import openpyxl import pymssql # 打开Excel文件 wb = openpyxl.load_workbook('data.xlsx') sheet = wb.active # 连接到SQL Server数据库 conn = pymssql.connect(server='localhost', user='sa', password='password', database='test') cursor = conn.cursor() # 执行插入数据的SQL语句 sql = "INSERT INTO table_name (column1, column2, column3) VALUES (%s, %s, %s)" data = [] for row in sheet.iter_rows(min_row=2): data.append((row[0].value, row[1].value, row[2].value)) cursor.executemany(sql, data) # 提交事务并关闭数据库连接 conn.commit() conn.close() ``` 以上就是使用Python批量插入Excel数据到SQL Server的简单方法。根据实际情况,你可能需要修改一些代码,比如Excel文件路径、数据库连接信息和插入的表字段名等。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值