如何快速插入大量/批量随机数据到数据库(oracle/sqlserver/mysql/postgresql)

在日常的数据库开发和测试中,需要创建一些测试的表,并构造一下假的数据。这时就需要向表中插入随机数据,特别是插入大量随机数据以获取更好的验证。笔者在开发和应用中,也遇到了很多类似的问题,对于不同的数据库,其插入随机数据的方式是不一样的。当前比较流行的关系型数据库有甲骨文Oracle,微软的SQLServer,开源的MySQL和PostgreSQL。本文总结了这四种数据库插入大量/批量随机数据的SQL语句的方法。

笔者在测试中插入一千万行随机数据来做验证。如果数据库的列是主键值,那么要求数据的唯一性,否则是不需要唯一性的。

创建表t1,只有一列id,类型int,非主键。

create table t1(id int);

oracle数据库插入批量随机数据的代码:

begin
  for i in 1..10000000 loop
    insert into t1 values(dbms_random.value()*10000000);
    --如果列是主键
    --insert into t1 values(i);
  end loop;
end;
/

SQLServer数据库插入批量随机数据的代码:

--这里使用事务进行插入,否则插入批量数据特别慢
begin tran;
declare @i int
set @i=1
while @i <=10000000
begin
insert into t1 values (rand()*10000000)
--如果是主键使用insert into t1 values (@i)
set @i=@i+1
end
commit;

go

MySQL数据库插入批量随机数据的代码:

--MySQL也是用函数来实现插入随机数据
delimiter $$
create function rand_num() returns int
begin
declare i int default 0;
set i = floor(rand()*10000000);
return i;
end 
$$

delimiter $$
create procedure insert_t1(in start int,in max_num int)
begin
declare i int default 0;
set autocommit = 0;
repeat 
set i=i+1;
insert into t1 (id) values(rand_num());
--如果是主键,使用insert into t1 (id) values(i);
until i = max_num
end repeat;
commit;
end $$

--调用函数插入一千万数据
delimiter ;
call insert_t1(1, 10000000);

PostgreSQL数据库插入批量随机数据的代码:

--PG使用PL/PGSQL函数插入数据
create or replace function insert_t1()
returns void as $$
DECLARE i int :=0;

BEGIN
  WHILE i<10000000 LOOP
    insert into t1 values((random()*10000000)::integer);
    --同理,主键使用insert into t1 values(generate_series(1, 10000000))
    i:=i+1;
  END LOOP;
END;
$$ language plpgsql;

select insert_t1();

虽然都是插入一千万条随机数据,但是四个数据库的时间还是有很大差距的。基于测试,Oracle和SQLServer插入一千万行数据都超过5分钟,MySQL需要接近一分半,PG是最快的,23秒。

数据库oraclesqlserverMySQLPostgreSQL
插入数据时间5分36秒6分13秒1分39秒23秒

  • 5
    点赞
  • 34
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
### 回答1: 好的,这是如何使用 Python 批量插入 Excel 中的数据到 SQL Server 的示例代码: 1. 首先,需要安装 pyodbc 模块,这是用来连接 SQL Server 的工具。可以使用如下命令安装: ``` pip install pyodbc ``` 2. 然后,连接到 SQL Server 数据库,并获取数据库的连接对象。 ```python import pyodbc # 连接字符串 conn_str = 'DRIVER={ODBC Driver 17 for SQL Server};SERVER=server_name;DATABASE=database_name;UID=username;PWD=password' # 连接数据库 cnxn = pyodbc.connect(conn_str) # 获取数据库的游标 cursor = cnxn.cursor() ``` 3. 读取 Excel 文件中的数据,并使用游标执行 SQL 插入语句将数据插入数据库中。 ```python # 导入 openpyxl 模块,用于读取 Excel 文件 import openpyxl # 读取 Excel 文件 wb = openpyxl.load_workbook('file.xlsx') # 获取工作表 ws = wb.active # 遍历工作表中的所有行 for row in ws.rows: # 获取行中的数据 col1 = row[0].value col2 = row[1].value col3 = row[2].value # 构造插入语句 sql = f"INSERT INTO table_name (col1, col2, col3) VALUES ({col1}, {col2}, {col3})" # 执行插入语句 cursor.execute(sql) # 提交事务 cnxn.commit() # 关闭游标和数据库连接 cursor.close() cnxn.close() ``` 希望这个示例代码能帮到你。 ### 回答2: 要批量插入Excel中的数据到SQL Server数据库,我们可以使用Python中的openpyxl和pyodbc库来完成这个任务。 首先,我们需要安装所需的库。在命令行中输入以下命令来安装这些库: ``` pip install openpyxl pip install pyodbc ``` 然后,我们需要连接到SQL Server数据库。在Python中,我们可以使用pyodbc库来实现这一点。以下是一个连接到数据库的示例代码: ```python import pyodbc # 连接到数据库 conn = pyodbc.connect("Driver={SQL Server};" "Server=<服务器名称>;" "Database=<数据库名称>;" "Trusted_Connection=yes;") cursor = conn.cursor() ``` 接下来,我们需要读取Excel文件中的数据。在Python中,我们可以使用openpyxl库来读取和操作Excel文件。以下是一个读取Excel中数据的示例代码: ```python from openpyxl import load_workbook # 载Excel文件 wb = load_workbook('<Excel文件路径>') # 选择工作表 ws = wb.active # 循环遍历每一行的数据 for row in ws.iter_rows(min_row=2, values_only=True): # 将每一行的数据插入数据库中 cursor.execute("INSERT INTO <表名> VALUES (?, ?, ...)", row) conn.commit() ``` 在上面的代码中,我们使用了`ws.iter_rows()`方法来迭代每一行的数据,并使用`values_only`参数来获取每一行的数据值。然后,我们执行SQL插入语句将数据插入到SQL Server数据库中,并使用`conn.commit()`方法来提交更改。 最后,记得关闭数据库连接。以下是一个关闭数据库连接的示例代码: ```python # 关闭数据库连接 cursor.close() conn.close() ``` 整个过程就是这样。通过使用openpyxl库读取Excel中的数据,并使用pyodbc库连接到SQL Server数据库并执行插入操作,我们就可以批量插入Excel中的数据到SQL Server数据库了。 ### 回答3: Python批量插入Excel中的数据到SQL Server可以通过以下步骤实现: 1. 首先,我们需要安装相应的库。在Python中有一些库可以帮助我们处理Excel文件,比如openpyxl和pandas,还有pymssql库用于连接和执行SQL Server数据库操作。可以通过pip安装这些库。 2. 打开Excel文件,并使用openpyxl或pandas库读取Excel中的数据。这些库提供了简单易用的方法来读取Excel文件中的数据。 3. 连接到SQL Server数据库。使用pymssql库提供的方法,创建一个数据库连接对象,并传入数据库服务器的相关信息,比如服务器名称、用户名、密码、数据库名称等。 4. 创建一个游标对象,并使用该游标对象执行插入数据的SQL语句。可以使用pymssql库提供的executemany方法,将读取的Excel数据批量插入到SQL Server数据库中。 5. 最后,提交事务并关闭数据库连接。 下面是一个简单的示例代码: ```python import openpyxl import pymssql # 打开Excel文件 wb = openpyxl.load_workbook('data.xlsx') sheet = wb.active # 连接到SQL Server数据库 conn = pymssql.connect(server='localhost', user='sa', password='password', database='test') cursor = conn.cursor() # 执行插入数据的SQL语句 sql = "INSERT INTO table_name (column1, column2, column3) VALUES (%s, %s, %s)" data = [] for row in sheet.iter_rows(min_row=2): data.append((row[0].value, row[1].value, row[2].value)) cursor.executemany(sql, data) # 提交事务并关闭数据库连接 conn.commit() conn.close() ``` 以上就是使用Python批量插入Excel中数据到SQL Server的简单方法。根据实际情况,你可能需要修改一些代码,比如Excel文件路径、数据库连接信息和插入的表字段名等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

helenbi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值