KingbaseES例程之拥有大量索引的表导入数据

最新推荐文章于 2023-12-12 18:49:35 发布
最新推荐文章于 2023-12-12 18:49:35 发布
阅读量499 收藏
点赞数
文章标签： 数据库 算法 数据结构 c++ 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyu1026/article/details/126562053
版权

概述

如何快速插入大量数据比如几千万上亿的带索引的数据表。

数据准备

准备一个拥有二十个索引的数据表。

kingbase=# \d+ bigtab
                                  Table "kingbase.bigtab"
 Column |  Type   | Collation | Nullable | Default | Storage  | Stats target | Description
--------+---------+-----------+----------+---------+----------+--------------+-------------
 id     | integer |           |          |         | plain    |              |
 c01    | integer |           |          |         | plain    |              |
 c02    | integer |           |          |         | plain    |              |
 c03    | integer |           |          |         | plain    |              |
 c04    | integer |           |          |         | plain    |              |
 c05    | integer |           |          |         | plain    |              |
 c06    | integer |           |          |         | plain    |              |
 c07    | integer |           |          |         | plain    |              |
 c08    | integer |           |          |         | plain    |              |
 c09    | integer |           |          |         | plain    |              |
 c10    | integer |           |          |         | plain    |              |
 c11    | integer |           |          |         | plain    |              |
 c12    | integer |           |          |         | plain    |              |
 c13    | integer |           |          |         | plain    |              |
 c14    | integer |           |          |         | plain    |              |
 c15    | integer |           |          |         | plain    |              |
 c16    | integer |           |          |         | plain    |              |
 c17    | integer |           |          |         | plain    |              |
 c18    | integer |           |          |         | plain    |              |
 c19    | integer |           |          |         | plain    |              |
 c20    | integer |           |          |         | plain    |              |
 c21    | integer |           |          |         | plain    |              |
 c22    | integer |           |          |         | plain    |              |
 c23    | integer |           |          |         | plain    |              |
 c24    | integer |           |          |         | plain    |              |
 c25    | integer |           |          |         | plain    |              |
 c26    | integer |           |          |         | plain    |              |
 c27    | integer |           |          |         | plain    |              |
 c28    | integer |           |          |         | plain    |              |
 c29    | integer |           |          |         | plain    |              |
 t01    | text    |           |          |         | extended |              |
 t02    | text    |           |          |         | extended |              |
 t03    | text    |           |          |         | extended |              |
 t04    | text    |           |          |         | extended |              |
 t05    | text    |           |          |         | extended |              |
 t06    | text    |           |          |         | extended |              |
 t07    | text    |           |          |         | extended |              |
 t08    | text    |           |          |         | extended |              |
 t09    | text    |           |          |         | extended |              |
 t10    | text    |           |          |         | extended |              |
 t11    | text    |           |          |         | extended |              |
 t12    | text    |           |          |         | extended |              |
 t13    | text    |           |          |         | extended |              |
 t14    | text    |           |          |         | extended |              |
 t15    | text    |           |          |         | extended |              |
 t16    | text    |           |          |         | extended |              |
 t17    | text    |           |          |         | extended |              |
 t18    | text    |           |          |         | extended |              |
 t19    | text    |           |          |         | extended |              |
 t20    | text    |           |          |         | extended |              |
Indexes:
    "bigtab_i01" btree (c01)
    "bigtab_i02" btree (c02)
    "bigtab_i03" btree (c03)
    "bigtab_i04" btree (c04)
    "bigtab_i05" btree (c05)
    "bigtab_i06" btree (c06)
    "bigtab_i07" btree (c07)
    "bigtab_i08" btree (c08)
    "bigtab_i09" btree (c09)
    "bigtab_i10" btree (c10)
    "bigtab_i11" btree (c11)
    "bigtab_i12" btree (c12)
    "bigtab_i13" btree (c13)
    "bigtab_i14" btree (c14)
    "bigtab_i15" btree (c15)
    "bigtab_i16" btree (c16)
    "bigtab_i17" btree (c17)
    "bigtab_i18" btree (c18)
    "bigtab_i19" btree (c19)
    "bigtab_i20" btree (c20)
Access method: heap

kingbase=#

方法一：直接插入海量数据，自动维护索引

kingbase=#
kingbase=#         insert into bigtab
kingbase-#         select id
kingbase-#              , (random() * 100)::int + 1000    c01
kingbase-#              , (random() * 200)::int + 1000    c02
kingbase-#              , (random() * 300)::int + 10000   c03
kingbase-#              , (random() * 400)::int + 10000   c04
kingbase-#              , (random() * 500)::int + 10000   c05
kingbase-#              , (random() * 600)::int + 10000   c06
kingbase-#              , (random() * 700)::int + 10000   c07
kingbase-#              , (random() * 800)::int + 10000   c08
kingbase-#              , (random() * 900)::int + 10000   c09
kingbase-#              , (random() * 1000)::int + 10000  c10
kingbase-#              , (random() * 2000)::int + 10000  c11
kingbase-#              , (random() * 3000)::int + 10000  c12
kingbase-#              , (random() * 4000)::int + 10000  c13
kingbase-#              , (random() * 5000)::int + 10000  c14
kingbase-#              , (random() * 6000)::int + 10000  c15
kingbase-#              , (random() * 7000)::int + 10000  c16
kingbase-#              , (random() * 8000)::int + 10000  c17
kingbase-#              , (random() * 9000)::int + 10000  c18
kingbase-#              , (random() * 10000)::int + 10000 c19
kingbase-#              , (random() * 20000)::int + 10000 c20
kingbase-#              , (random() * 30000)::int + 10000 c21
kingbase-#              , (random() * 40000)::int + 10000 c22
kingbase-#              , (random() * 50000)::int + 10000 c23
kingbase-#              , (random() * 60000)::int + 10000 c24
kingbase-#              , (random() * 70000)::int + 10000 c25
kingbase-#              , (random() * 80000)::int + 10000 c26
kingbase-#              , (random() * 90000)::int + 10000 c27
kingbase-#              , (random() * 10000)::int + 10000 c28
kingbase-#              , (random() * 10000)::int + 10000 c29
kingbase-#              , md5(random()::text)             t01
kingbase-#              , md5(random()::text)             t02
kingbase-#              , md5(random()::text)             t03
kingbase-#              , md5(random()::text)             t04
kingbase-#              , md5(random()::text)             t05
kingbase-#              , md5(random()::text)             t06
kingbase-#              , md5(random()::text)             t07
kingbase-#              , md5(random()::text)             t08
kingbase-#              , md5(random()::text)             t09
kingbase-#              , md5(random()::text)             t10
kingbase-#              , md5(random()::text)             t11
kingbase-#              , md5(random()::text)             t12
kingbase-#              , md5(random()::text)             t13
kingbase-#              , md5(random()::text)             t14
kingbase-#              , md5(random()::text)             t15
kingbase-#              , md5(random()::text)             t16
kingbase-#              , md5(random()::text)             t17
kingbase-#              , md5(random()::text)             t18
kingbase-#              , md5(random()::text)             t19
kingbase-#              , md5(random()::text)             t20
kingbase-#         from generate_series(1, 2000000) id;
INSERT 0 2000000
Time: 299331.143 ms (04:59.331)

优点： 语句单一；自动维护索引；自动支持之后的索引。

缺点： 逐行维护索引，造成用时较长。

方法二：删除索引，插入海量数据，再创建索引

kingbase=#
kingbase=# do
kingbase-# $$
kingbase$#     begin
kingbase$#         drop index bigtab_i01;
kingbase$#         drop index bigtab_i02;
kingbase$#         drop index bigtab_i03;
kingbase$#         drop index bigtab_i04;
kingbase$#         drop index bigtab_i05;
kingbase$#         drop index bigtab_i06;
kingbase$#         drop index bigtab_i07;
kingbase$#         drop index bigtab_i08;
kingbase$#         drop index bigtab_i09;
kingbase$#         drop index bigtab_i10;
kingbase$#         drop index bigtab_i11;
kingbase$#         drop index bigtab_i12;
kingbase$#         drop index bigtab_i13;
kingbase$#         drop index bigtab_i14;
kingbase$#         drop index bigtab_i15;
kingbase$#         drop index bigtab_i16;
kingbase$#         drop index bigtab_i17;
kingbase$#         drop index bigtab_i18;
kingbase$#         drop index bigtab_i19;
kingbase$#         drop index bigtab_i20;
kingbase$#
kingbase$#         insert into bigtab
kingbase$#         select id
kingbase$#              , (random() * 100)::int + 1000    c01
kingbase$#              , (random() * 200)::int + 1000    c02
kingbase$#              , (random() * 300)::int + 10000   c03
kingbase$#              , (random() * 400)::int + 10000   c04
kingbase$#              , (random() * 500)::int + 10000   c05
kingbase$#              , (random() * 600)::int + 10000   c06
kingbase$#              , (random() * 700)::int + 10000   c07
kingbase$#              , (random() * 800)::int + 10000   c08
kingbase$#              , (random() * 900)::int + 10000   c09
kingbase$#              , (random() * 1000)::int + 10000  c10
kingbase$#              , (random() * 2000)::int + 10000  c11
kingbase$#              , (random() * 3000)::int + 10000  c12
kingbase$#              , (random() * 4000)::int + 10000  c13
kingbase$#              , (random() * 5000)::int + 10000  c14
kingbase$#              , (random() * 6000)::int + 10000  c15
kingbase$#              , (random() * 7000)::int + 10000  c16
kingbase$#              , (random() * 8000)::int + 10000  c17
kingbase$#              , (random() * 9000)::int + 10000  c18
kingbase$#              , (random() * 10000)::int + 10000 c19
kingbase$#              , (random() * 20000)::int + 10000 c20
kingbase$#              , (random() * 30000)::int + 10000 c21
kingbase$#              , (random() * 40000)::int + 10000 c22
kingbase$#              , (random() * 50000)::int + 10000 c23
kingbase$#              , (random() * 60000)::int + 10000 c24
kingbase$#              , (random() * 70000)::int + 10000 c25
kingbase$#              , (random() * 80000)::int + 10000 c26
kingbase$#              , (random() * 90000)::int + 10000 c27
kingbase$#              , (random() * 10000)::int + 10000 c28
kingbase$#              , (random() * 10000)::int + 10000 c29
kingbase$#              , md5(random()::text)             t01
kingbase$#              , md5(random()::text)             t02
kingbase$#              , md5(random()::text)             t03
kingbase$#              , md5(random()::text)             t04
kingbase$#              , md5(random()::text)             t05
kingbase$#              , md5(random()::text)             t06
kingbase$#              , md5(random()::text)             t07
kingbase$#              , md5(random()::text)             t08
kingbase$#              , md5(random()::text)             t09
kingbase$#              , md5(random()::text)             t10
kingbase$#              , md5(random()::text)             t11
kingbase$#              , md5(random()::text)             t12
kingbase$#              , md5(random()::text)             t13
kingbase$#              , md5(random()::text)             t14
kingbase$#              , md5(random()::text)             t15
kingbase$#              , md5(random()::text)             t16
kingbase$#              , md5(random()::text)             t17
kingbase$#              , md5(random()::text)             t18
kingbase$#              , md5(random()::text)             t19
kingbase$#              , md5(random()::text)             t20
kingbase$#         from generate_series(1, 2000000) id;
kingbase$#
kingbase$#         create index bigtab_i01 on bigtab (c01);
kingbase$#         create index bigtab_i02 on bigtab (c02);
kingbase$#         create index bigtab_i03 on bigtab (c03);
kingbase$#         create index bigtab_i04 on bigtab (c04);
kingbase$#         create index bigtab_i05 on bigtab (c05);
kingbase$#         create index bigtab_i06 on bigtab (c06);
kingbase$#         create index bigtab_i07 on bigtab (c07);
kingbase$#         create index bigtab_i08 on bigtab (c08);
kingbase$#         create index bigtab_i09 on bigtab (c09);
kingbase$#         create index bigtab_i10 on bigtab (c10);
kingbase$#         create index bigtab_i11 on bigtab (c11);
kingbase$#         create index bigtab_i12 on bigtab (c12);
kingbase$#         create index bigtab_i13 on bigtab (c13);
kingbase$#         create index bigtab_i14 on bigtab (c14);
kingbase$#         create index bigtab_i15 on bigtab (c15);
kingbase$#         create index bigtab_i16 on bigtab (c16);
kingbase$#         create index bigtab_i17 on bigtab (c17);
kingbase$#         create index bigtab_i18 on bigtab (c18);
kingbase$#         create index bigtab_i19 on bigtab (c19);
kingbase$#         create index bigtab_i20 on bigtab (c20);
kingbase$#
kingbase$#     end;
kingbase$# $$;
ANONYMOUS BLOCK
Time: 83069.170 ms (01:23.069)

优点： 批量维护索引，用时最短。

缺点： 语句复杂且固化；手动维护删建索引语句；不支持之后的索引。

方法三：禁止索引更改，插入海量数据，重建表的全部索引

kingbase=# do
kingbase-# $$
kingbase$#     begin
kingbase$#
kingbase$#         update pg_index
kingbase$#         set indislive= false
kingbase$#         where indrelid = 'bigtab'::regclass;
kingbase$#
kingbase$#         insert into bigtab
kingbase$#         select id
kingbase$#              , (random() * 100)::int + 1000    c01
kingbase$#              , (random() * 200)::int + 1000    c02
kingbase$#              , (random() * 300)::int + 10000   c03
kingbase$#              , (random() * 400)::int + 10000   c04
kingbase$#              , (random() * 500)::int + 10000   c05
kingbase$#              , (random() * 600)::int + 10000   c06
kingbase$#              , (random() * 700)::int + 10000   c07
kingbase$#              , (random() * 800)::int + 10000   c08
kingbase$#              , (random() * 900)::int + 10000   c09
kingbase$#              , (random() * 1000)::int + 10000  c10
kingbase$#              , (random() * 2000)::int + 10000  c11
kingbase$#              , (random() * 3000)::int + 10000  c12
kingbase$#              , (random() * 4000)::int + 10000  c13
kingbase$#              , (random() * 5000)::int + 10000  c14
kingbase$#              , (random() * 6000)::int + 10000  c15
kingbase$#              , (random() * 7000)::int + 10000  c16
kingbase$#              , (random() * 8000)::int + 10000  c17
kingbase$#              , (random() * 9000)::int + 10000  c18
kingbase$#              , (random() * 10000)::int + 10000 c19
kingbase$#              , (random() * 20000)::int + 10000 c20
kingbase$#              , (random() * 30000)::int + 10000 c21
kingbase$#              , (random() * 40000)::int + 10000 c22
kingbase$#              , (random() * 50000)::int + 10000 c23
kingbase$#              , (random() * 60000)::int + 10000 c24
kingbase$#              , (random() * 70000)::int + 10000 c25
kingbase$#              , (random() * 80000)::int + 10000 c26
kingbase$#              , (random() * 90000)::int + 10000 c27
kingbase$#              , (random() * 10000)::int + 10000 c28
kingbase$#              , (random() * 10000)::int + 10000 c29
kingbase$#              , md5(random()::text)             t01
kingbase$#              , md5(random()::text)             t02
kingbase$#              , md5(random()::text)             t03
kingbase$#              , md5(random()::text)             t04
kingbase$#              , md5(random()::text)             t05
kingbase$#              , md5(random()::text)             t06
kingbase$#              , md5(random()::text)             t07
kingbase$#              , md5(random()::text)             t08
kingbase$#              , md5(random()::text)             t09
kingbase$#              , md5(random()::text)             t10
kingbase$#              , md5(random()::text)             t11
kingbase$#              , md5(random()::text)             t12
kingbase$#              , md5(random()::text)             t13
kingbase$#              , md5(random()::text)             t14
kingbase$#              , md5(random()::text)             t15
kingbase$#              , md5(random()::text)             t16
kingbase$#              , md5(random()::text)             t17
kingbase$#              , md5(random()::text)             t18
kingbase$#              , md5(random()::text)             t19
kingbase$#              , md5(random()::text)             t20
kingbase$#         from generate_series(1, 2000000) id;
kingbase$#
kingbase$#         update pg_index
kingbase$#         set indislive= true
kingbase$#         where indrelid = 'bigtab'::regclass;
kingbase$#
kingbase$#         analyse bigtab;
kingbase$#         reindex table bigtab;
kingbase$#
kingbase$#     end;
kingbase$# $$;
ANONYMOUS BLOCK
Time: 87110.126 ms (01:27.110)

优点： 批量维护索引，用时短；语句固定模式；自动维护索引；支持之后的索引。

缺点： 多个SQL语句，不易嵌入语句块。

最后的话

reindex table 的执行依赖统计信息，所以需要执行 analyse table ，才能成功重建表的全部可更新的索引。

reindex index 不受上述因素的影响，可以强制重建不更新的索引，并自动修改 indislive= true。

如果在REINDEX期间出现异常，那么所有需要rebuild的索引的状态都是invalid，意味着这些索引仍然占用空间，定义仍在但不能使用。

避免REINDEX期间出现异常，可以在索引更新操作时，跳过唯一索引和外键依赖索引等。

Kingbase 研究院
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
人大金仓数据库SQL手册
07-27
人大金仓数据库SQL手册： 详细讲解SQL语法
人大金仓ksql导入数据文件
qq_41258451的博客
09-23 1223
人大金仓导入特殊字符数据文件
人大金仓数据的导入导出&简单命令
m0_52985087的博客
08-23 7738
这篇文档主要是对于人大金仓数据库的导入导出的命令解释，以及你想要操作人大金仓数据库的一些常用命令，方便快速入门。
kingbase（人大金仓）导出导入指定表
左直拳的马桶_日用桶
11-16 1万+
导出用sys_dump，导入用ksql。都采用命令行方式，未登录数据库，在外围进行。 项目正处于上线试运行阶段，正式环境下程序有些问题，与数据库有关。我想将正式环境下的一些数据库表导出来，导进开发库。 环境： 操作系统：UOS（统信，兼容debian、ubantu的国产linux） 数据库：kingbase（人大金仓） 步骤： 一、导出指定表 可以用人大金仓自带的数据库对象管理工具，方便快捷。但我面对的服务器，没有桌面端，只有命令行，并且是运行在浏览器上。同一网段的另一台机装有这个工具，但运行报错，说缺少了
金仓数据库KStudio使用手册（4. sql编辑）
arthemis_14的博客
11-08 2944
KStudio使用手册， sql编辑
KingbaseES的jar包
最新发布
05-06
KingbaseES的jar包
KingbaseES-SQL语言参考手册.pdf
02-28
人大金仓V8R6_KingbaseES_SQL语言参考手册.pdf
KingbaseES_V008R003C002B0160_Win64_install.exe
11-24
kingbase客户端工具
KingbaseES_V008R003C002B0160_Win64_install.tar
05-26
版本：V008R003C002B0160 针对于有些用户客户端和服务端版本不一致，服务端版本是V008R003C002B0160 即可以使用此工具
人大金仓 KingbaseES V8驱动 kingbase8-8.2.0.jar
11-15
kingbase8-8.2.0.jar
关系数据库SQL语言 | 创建和使用数据表[二]（人大金仓为例）
weixin_66681817的博客
09-17 1784
数据表的基本操作
KingbaseEs V8R3（人大金仓）常用sql命令（超详细）
热门推荐
多喝清晨的粥
01-24 2万+
KingbaseEs V8R3（人大金仓）常用命令（超详细）
将EXCEL导入到数据库
shileimohan的专栏
12-03 1105
将excel导入到数据库汇中，有很多方法，这里介绍两种常用的简单的方法： 一、直接将excel保存成1997-2003版本的，不需要写SQL语句，过程如下：  1、打开企业管理器，打开要导入数据的数据库，在表上按右键，所有任务-->导入数据，弹出DTS导入/导出向导，按 下一步 ， 2、选择数据源 Microsoft Excel 97-2000，文件名 选择要导入的xls文件，按 下一步
金仓数据库KingbaseES 数据插入更新操作
arthemis_14的博客
05-30 1359
数据库使用过程中，经常会遇到一种场景：业务系统对数据进行dml操作，当数据库中数据不存在时，将数据做为新记录插入到表中，当数据库中数据存在时，对现有数据进行更新操作。下面介绍KingbaseES中对上述的业务场景的应对方式。
高级DBA手把手教你Mysql大数据量批量导入人大金仓国产数据库方法（全网最详细）
nasen512的博客
08-31 3123
高级DBA手把手教你Mysql大数据批量导入人大金仓国产数据库的方法，全网最详细的内容
数据库导入Excel中的数据
m0_53077601的博客
05-11 979
1.第一步 2.第二步：选择导入文件类型 3.第三步：选择文件 4.第四步：是否有表头 5.第五步：是否新建表 6.第六步：字段与表头对应 7.第七步：选择追加或复制 8.第八步：开始导入 ...
KingbaseES 数据插入更新操作
lyu1026的博客
05-19 868
数据库使用过程中，经常会遇到一种场景：业务系统对数据进行dml操作，当数据库中数据不存在时，将数据做为新记录插入到表中，当数据库中数据存在时，对现有数据进行更新操作。 下面介绍KingbaseES中对上述的业务场景的应对方式。 -- 测试数据： CREATE TABLE test(id int PRIMARY KEY ,name varchar(20)); INSERT INTO test v...
人大金仓数据库KingbaseES ODBC批量操作
arthemis_14的博客
12-12 982
在ODBC中如果需要插入多条的数据（如向创建的表中插入一万条数据）等需要大量重复执行DML语句的情况下，会造成操作耗时长，数据库服务器IO的函数占比大等问题。而使用批量执行DML的方法，能够减少向数据库发送插入语句等DML语句报文，较少与服务器之间的IO交互，能提升插入效率，缩短执行时间。
金仓数据库KStudio使用手册（3. 数据库管理）
arthemis_14的博客
11-08 6266
KStudio使用手册，数据库管理
kingbasees查询指定库的所有索引的sql
05-27
您可以使用以下 SQL 查询语句来获取指定库的所有索引信息： ```sql SELECT t.relname AS table_name, c.relname AS index_name, a.attname AS column_name FROM pg_class AS c INNER JOIN pg_index AS i ON c....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值