KingbaseES例程之拥有大量索引的表导入数据

最新推荐文章于 2024-04-24 08:00:00 发布
最新推荐文章于 2024-04-24 08:00:00 发布
阅读量563 收藏
点赞数
文章标签： 数据库 算法 数据结构 c++ 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyu1026/article/details/126562053
版权

概述

如何快速插入大量数据比如几千万上亿的带索引的数据表。

数据准备

准备一个拥有二十个索引的数据表。

kingbase=# \d+ bigtab
                                  Table "kingbase.bigtab"
 Column |  Type   | Collation | Nullable | Default | Storage  | Stats target | Description
--------+---------+-----------+----------+---------+----------+--------------+-------------
 id     | integer |           |          |         | plain    |              |
 c01    | integer |           |          |         | plain    |              |
 c02    | integer |           |          |         | plain    |              |
 c03    | integer |           |          |         | plain    |              |
 c04    | integer |           |          |         | plain    |              |
 c05    | integer |           |          |         | plain    |              |
 c06    | integer |           |          |         | plain    |              |
 c07    | integer |           |          |         | plain    |              |
 c08    | integer |           |          |         | plain    |              |
 c09    | integer |           |          |         | plain    |              |
 c10    | integer |           |          |         | plain    |              |
 c11    | integer |           |          |         | plain    |              |
 c12    | integer |           |          |         | plain    |              |
 c13    | integer |           |          |         | plain    |              |
 c14    | integer |           |          |         | plain    |              |
 c15    | integer |           |          |         | plain    |              |
 c16    | integer |           |          |         | plain    |              |
 c17    | integer |           |          |         | plain    |              |
 c18    | integer |           |          |         | plain    |              |
 c19    | integer |           |          |         | plain    |              |
 c20    | integer |           |          |         | plain    |              |
 c21    | integer |           |          |         | plain    |              |
 c22    | integer |           |          |         | plain    |              |
 c23    | integer |           |          |         | plain    |              |
 c24    | integer |           |          |         | plain    |              |
 c25    | integer |           |          |         | plain    |              |
 c26    | integer |           |          |         | plain    |              |
 c27    | integer |           |          |         | plain    |              |
 c28    | integer |           |          |         | plain    |              |
 c29    | integer |           |          |         | plain    |              |
 t01    | text    |           |          |         | extended |              |
 t02    | text    |           |          |         | extended |              |
 t03    | text    |           |          |         | extended |              |
 t04    | text    |           |          |         | extended |              |
 t05    | text    |           |          |         | extended |              |
 t06    | text    |           |          |         | extended |              |
 t07    | text    |           |          |         | extended |              |
 t08    | text    |           |          |         | extended |              |
 t09    | text    |           |          |         | extended |              |
 t10    | text    |           |          |         | extended |              |
 t11    | text    |           |          |         | extended |              |
 t12    | text    |           |          |         | extended |              |
 t13    | text    |           |          |         | extended |              |
 t14    | text    |           |          |         | extended |              |
 t15    | text    |           |          |         | extended |              |
 t16    | text    |           |          |         | extended |              |
 t17    | text    |           |          |         | extended |              |
 t18    | text    |           |          |         | extended |              |
 t19    | text    |           |          |         | extended |              |
 t20    | text    |           |          |         | extended |              |
Indexes:
    "bigtab_i01" btree (c01)
    "bigtab_i02" btree (c02)
    "bigtab_i03" btree (c03)
    "bigtab_i04" btree (c04)
    "bigtab_i05" btree (c05)
    "bigtab_i06" btree (c06)
    "bigtab_i07" btree (c07)
    "bigtab_i08" btree (c08)
    "bigtab_i09" btree (c09)
    "bigtab_i10" btree (c10)
    "bigtab_i11" btree (c11)
    "bigtab_i12" btree (c12)
    "bigtab_i13" btree (c13)
    "bigtab_i14" btree (c14)
    "bigtab_i15" btree (c15)
    "bigtab_i16" btree (c16)
    "bigtab_i17" btree (c17)
    "bigtab_i18" btree (c18)
    "bigtab_i19" btree (c19)
    "bigtab_i20" btree (c20)
Access method: heap

kingbase=#

方法一：直接插入海量数据，自动维护索引

kingbase=#
kingbase=#         insert into bigtab
kingbase-#         select id
kingbase-#              , (random() * 100)::int + 1000    c01
kingbase-#              , (random() * 200)::int + 1000    c02
kingbase-#              , (random() * 300)::int + 10000   c03
kingbase-#              , (random() * 400)::int + 10000   c04
kingbase-#              , (random() * 500)::int + 10000   c05
kingbase-#              , (random() * 600)::int + 10000   c06
kingbase-#              , (random() * 700)::int + 10000   c07
kingbase-#              , (random() * 800)::int + 10000   c08
kingbase-#              , (random() * 900)::int + 10000   c09
kingbase-#              , (random() * 1000)::int + 10000  c10
kingbase-#              , (random() * 2000)::int + 10000  c11
kingbase-#              , (random() * 3000)::int + 10000  c12
kingbase-#              , (random() * 4000)::int + 10000  c13
kingbase-#              , (random() * 5000)::int + 10000  c14
kingbase-#              , (random() * 6000)::int + 10000  c15
kingbase-#              , (random() * 7000)::int + 10000  c16
kingbase-#              , (random() * 8000)::int + 10000  c17
kingbase-#              , (random() * 9000)::int + 10000  c18
kingbase-#              , (random() * 10000)::int + 10000 c19
kingbase-#              , (random() * 20000)::int + 10000 c20
kingbase-#              , (random() * 30000)::int + 10000 c21
kingbase-#              , (random() * 40000)::int + 10000 c22
kingbase-#              , (random() * 50000)::int + 10000 c23
kingbase-#              , (random() * 60000)::int + 10000 c24
kingbase-#              , (random() * 70000)::int + 10000 c25
kingbase-#              , (random() * 80000)::int + 10000 c26
kingbase-#              , (random() * 90000)::int + 10000 c27
kingbase-#              , (random() * 10000)::int + 10000 c28
kingbase-#              , (random() * 10000)::int + 10000 c29
kingbase-#              , md5(random()::text)             t01
kingbase-#              , md5(random()::text)             t02
kingbase-#              , md5(random()::text)             t03
kingbase-#              , md5(random()::text)             t04
kingbase-#              , md5(random()::text)             t05
kingbase-#              , md5(random()::text)             t06
kingbase-#              , md5(random()::text)             t07
kingbase-#              , md5(random()::text)             t08
kingbase-#              , md5(random()::text)             t09
kingbase-#              , md5(random()::text)             t10
kingbase-#              , md5(random()::text)             t11
kingbase-#              , md5(random()::text)             t12
kingbase-#              , md5(random()::text)             t13
kingbase-#              , md5(random()::text)             t14
kingbase-#              , md5(random()::text)             t15
kingbase-#              , md5(random()::text)             t16
kingbase-#              , md5(random()::text)             t17
kingbase-#              , md5(random()::text)             t18
kingbase-#              , md5(random()::text)             t19
kingbase-#              , md5(random()::text)             t20
kingbase-#         from generate_series(1, 2000000) id;
INSERT 0 2000000
Time: 299331.143 ms (04:59.331)

优点： 语句单一；自动维护索引；自动支持之后的索引。

缺点： 逐行维护索引，造成用时较长。

方法二：删除索引，插入海量数据，再创建索引

kingbase=#
kingbase=# do
kingbase-# $$
kingbase$#     begin
kingbase$#         drop index bigtab_i01;
kingbase$#         drop index bigtab_i02;
kingbase$#         drop index bigtab_i03;
kingbase$#         drop index bigtab_i04;
kingbase$#         drop index bigtab_i05;
kingbase$#         drop index bigtab_i06;
kingbase$#         drop index bigtab_i07;
kingbase$#         drop index bigtab_i08;
kingbase$#         drop index bigtab_i09;
kingbase$#         drop index bigtab_i10;
kingbase$#         drop index bigtab_i11;
kingbase$#         drop index bigtab_i12;
kingbase$#         drop index bigtab_i13;
kingbase$#         drop index bigtab_i14;
kingbase$#         drop index bigtab_i15;
kingbase$#         drop index bigtab_i16;
kingbase$#         drop index bigtab_i17;
kingbase$#         drop index bigtab_i18;
kingbase$#         drop index bigtab_i19;
kingbase$#         drop index bigtab_i20;
kingbase$#
kingbase$#         insert into bigtab
kingbase$#         select id
kingbase$#              , (random() * 100)::int + 1000    c01
kingbase$#              , (random() * 200)::int + 1000    c02
kingbase$#              , (random() * 300)::int + 10000   c03
kingbase$#              , (random() * 400)::int + 10000   c04
kingbase$#              , (random() * 500)::int + 10000   c05
kingbase$#              , (random() * 600)::int + 10000   c06
kingbase$#              , (random() * 700)::int + 10000   c07
kingbase$#              , (random() * 800)::int + 10000   c08
kingbase$#              , (random() * 900)::int + 10000   c09
kingbase$#              , (random() * 1000)::int + 10000  c10
kingbase$#              , (random() * 2000)::int + 10000  c11
kingbase$#              , (random() * 3000)::int + 10000  c12
kingbase$#              , (random() * 4000)::int + 10000  c13
kingbase$#              , (random() * 5000)::int + 10000  c14
kingbase$#              , (random() * 6000)::int + 10000  c15
kingbase$#              , (random() * 7000)::int + 10000  c16
kingbase$#              , (random() * 8000)::int + 10000  c17
kingbase$#              , (random() * 9000)::int + 10000  c18
kingbase$#              , (random() * 10000)::int + 10000 c19
kingbase$#              , (random() * 20000)::int + 10000 c20
kingbase$#              , (random() * 30000)::int + 10000 c21
kingbase$#              , (random() * 40000)::int + 10000 c22
kingbase$#              , (random() * 50000)::int + 10000 c23
kingbase$#              , (random() * 60000)::int + 10000 c24
kingbase$#              , (random() * 70000)::int + 10000 c25
kingbase$#              , (random() * 80000)::int + 10000 c26
kingbase$#              , (random() * 90000)::int + 10000 c27
kingbase$#              , (random() * 10000)::int + 10000 c28
kingbase$#              , (random() * 10000)::int + 10000 c29
kingbase$#              , md5(random()::text)             t01
kingbase$#              , md5(random()::text)             t02
kingbase$#              , md5(random()::text)             t03
kingbase$#              , md5(random()::text)             t04
kingbase$#              , md5(random()::text)             t05
kingbase$#              , md5(random()::text)             t06
kingbase$#              , md5(random()::text)             t07
kingbase$#              , md5(random()::text)             t08
kingbase$#              , md5(random()::text)             t09
kingbase$#              , md5(random()::text)             t10
kingbase$#              , md5(random()::text)             t11
kingbase$#              , md5(random()::text)             t12
kingbase$#              , md5(random()::text)             t13
kingbase$#              , md5(random()::text)             t14
kingbase$#              , md5(random()::text)             t15
kingbase$#              , md5(random()::text)             t16
kingbase$#              , md5(random()::text)             t17
kingbase$#              , md5(random()::text)             t18
kingbase$#              , md5(random()::text)             t19
kingbase$#              , md5(random()::text)             t20
kingbase$#         from generate_series(1, 2000000) id;
kingbase$#
kingbase$#         create index bigtab_i01 on bigtab (c01);
kingbase$#         create index bigtab_i02 on bigtab (c02);
kingbase$#         create index bigtab_i03 on bigtab (c03);
kingbase$#         create index bigtab_i04 on bigtab (c04);
kingbase$#         create index bigtab_i05 on bigtab (c05);
kingbase$#         create index bigtab_i06 on bigtab (c06);
kingbase$#         create index bigtab_i07 on bigtab (c07);
kingbase$#         create index bigtab_i08 on bigtab (c08);
kingbase$#         create index bigtab_i09 on bigtab (c09);
kingbase$#         create index bigtab_i10 on bigtab (c10);
kingbase$#         create index bigtab_i11 on bigtab (c11);
kingbase$#         create index bigtab_i12 on bigtab (c12);
kingbase$#         create index bigtab_i13 on bigtab (c13);
kingbase$#         create index bigtab_i14 on bigtab (c14);
kingbase$#         create index bigtab_i15 on bigtab (c15);
kingbase$#         create index bigtab_i16 on bigtab (c16);
kingbase$#         create index bigtab_i17 on bigtab (c17);
kingbase$#         create index bigtab_i18 on bigtab (c18);
kingbase$#         create index bigtab_i19 on bigtab (c19);
kingbase$#         create index bigtab_i20 on bigtab (c20);
kingbase$#
kingbase$#     end;
kingbase$# $$;
ANONYMOUS BLOCK
Time: 83069.170 ms (01:23.069)

优点： 批量维护索引，用时最短。

缺点： 语句复杂且固化；手动维护删建索引语句；不支持之后的索引。

方法三：禁止索引更改，插入海量数据，重建表的全部索引

kingbase=# do
kingbase-# $$
kingbase$#     begin
kingbase$#
kingbase$#         update pg_index
kingbase$#         set indislive= false
kingbase$#         where indrelid = 'bigtab'::regclass;
kingbase$#
kingbase$#         insert into bigtab
kingbase$#         select id
kingbase$#              , (random() * 100)::int + 1000    c01
kingbase$#              , (random() * 200)::int + 1000    c02
kingbase$#              , (random() * 300)::int + 10000   c03
kingbase$#              , (random() * 400)::int + 10000   c04
kingbase$#              , (random() * 500)::int + 10000   c05
kingbase$#              , (random() * 600)::int + 10000   c06
kingbase$#              , (random() * 700)::int + 10000   c07
kingbase$#              , (random() * 800)::int + 10000   c08
kingbase$#              , (random() * 900)::int + 10000   c09
kingbase$#              , (random() * 1000)::int + 10000  c10
kingbase$#              , (random() * 2000)::int + 10000  c11
kingbase$#              , (random() * 3000)::int + 10000  c12
kingbase$#              , (random() * 4000)::int + 10000  c13
kingbase$#              , (random() * 5000)::int + 10000  c14
kingbase$#              , (random() * 6000)::int + 10000  c15
kingbase$#              , (random() * 7000)::int + 10000  c16
kingbase$#              , (random() * 8000)::int + 10000  c17
kingbase$#              , (random() * 9000)::int + 10000  c18
kingbase$#              , (random() * 10000)::int + 10000 c19
kingbase$#              , (random() * 20000)::int + 10000 c20
kingbase$#              , (random() * 30000)::int + 10000 c21
kingbase$#              , (random() * 40000)::int + 10000 c22
kingbase$#              , (random() * 50000)::int + 10000 c23
kingbase$#              , (random() * 60000)::int + 10000 c24
kingbase$#              , (random() * 70000)::int + 10000 c25
kingbase$#              , (random() * 80000)::int + 10000 c26
kingbase$#              , (random() * 90000)::int + 10000 c27
kingbase$#              , (random() * 10000)::int + 10000 c28
kingbase$#              , (random() * 10000)::int + 10000 c29
kingbase$#              , md5(random()::text)             t01
kingbase$#              , md5(random()::text)             t02
kingbase$#              , md5(random()::text)             t03
kingbase$#              , md5(random()::text)             t04
kingbase$#              , md5(random()::text)             t05
kingbase$#              , md5(random()::text)             t06
kingbase$#              , md5(random()::text)             t07
kingbase$#              , md5(random()::text)             t08
kingbase$#              , md5(random()::text)             t09
kingbase$#              , md5(random()::text)             t10
kingbase$#              , md5(random()::text)             t11
kingbase$#              , md5(random()::text)             t12
kingbase$#              , md5(random()::text)             t13
kingbase$#              , md5(random()::text)             t14
kingbase$#              , md5(random()::text)             t15
kingbase$#              , md5(random()::text)             t16
kingbase$#              , md5(random()::text)             t17
kingbase$#              , md5(random()::text)             t18
kingbase$#              , md5(random()::text)             t19
kingbase$#              , md5(random()::text)             t20
kingbase$#         from generate_series(1, 2000000) id;
kingbase$#
kingbase$#         update pg_index
kingbase$#         set indislive= true
kingbase$#         where indrelid = 'bigtab'::regclass;
kingbase$#
kingbase$#         analyse bigtab;
kingbase$#         reindex table bigtab;
kingbase$#
kingbase$#     end;
kingbase$# $$;
ANONYMOUS BLOCK
Time: 87110.126 ms (01:27.110)

优点： 批量维护索引，用时短；语句固定模式；自动维护索引；支持之后的索引。

缺点： 多个SQL语句，不易嵌入语句块。

最后的话

reindex table 的执行依赖统计信息，所以需要执行 analyse table ，才能成功重建表的全部可更新的索引。

reindex index 不受上述因素的影响，可以强制重建不更新的索引，并自动修改 indislive= true。

如果在REINDEX期间出现异常，那么所有需要rebuild的索引的状态都是invalid，意味着这些索引仍然占用空间，定义仍在但不能使用。

避免REINDEX期间出现异常，可以在索引更新操作时，跳过唯一索引和外键依赖索引等。

Kingbase 研究院
关注
kingbase数据库，sql
05-10
总结概括了kingbase数据库大部分的sql语法，对于那些正在学习sql，或者了解sql的，该文档作为复习资料是很好的，或者作为备查工具也很好啦
KingbaseES数据库bulkload快速导入导出数据
m0_61066945的博客
04-23 1771
数据导入导出的基本用法，高性能方法
数据库导入Excel中的数据
m0_53077601的博客
05-11 1060
1.第一步 2.第二步：选择导入文件类型 3.第三步：选择文件 4.第四步：是否有表头 5.第五步：是否新建表 6.第六步：字段与表头对应 7.第七步：选择追加或复制 8.第八步：开始导入 ...
KingbaseES数据库copy导入导出
m0_61066945的博客
04-24 1021
导入导出某张表、列的详细用法
金仓数据库兼容Oracle exp/imp的导出导入工具手册（4. 功能与实践 ）
arthemis_14的博客
09-13 810
用户模式会将指定模式内的数据库对象和内容导入到另一个指定的用户模式中（下面例子为system用户名，密码是123456的情况）。表模式会将指定的表导入到数据库中（下面例子为system用户名，密码是123456，导入alice模式的t3表的情况）。用户模式会导出指定模式下的数据库对象和内容（下面例子为alice用户名，密码是123456的情况）。表模式会导出指定的表模式或表内容（下面例子为system用户名，密码是123456的情况）。
KingbaseES-SQL语言参考手册.pdf
02-28
此外，手册还介绍了与KingbaseES SQL配套的工具，这些工具通常包括数据库管理工具、查询分析器以及数据导入导出工具等，为用户提供便捷的数据库操作环境。 在KingbaseES SQL的基本元素中，数据类型是至关重要的概念...
KingbaseES的jar包
最新发布
05-06
KingbaseES的jar包
人大金仓KingbaseES V8R6完整文档
04-27
"[系统管理]对象管理工具使用说明.pdf"详细阐述了如何使用KingbaseES的对象管理工具，包括表、索引、视图等数据库对象的创建、修改和管理。 "[应用开发及迁移][参考手册]KingbaseES扩展插件参考手册.pdf"提供了扩展...
人大金仓 KingbaseES V8驱动 kingbase8-8.2.0.jar
11-15
人大金仓KingbaseES是一款由中国人民大学开发的国产数据库管理系统，具有高性能、高安全性、高稳定性的特点。在本场景中，我们关注的是其V8版本的驱动程序——"kingbase8-8.2.0.jar"。这个JAR文件是Java应用程序归档...
人大金仓 KingbaseES V8 手册 及 sql语法手册
01-18
KingbaseES V8支持SQL标准，包括数据定义（DDL）、数据操纵（DML）、数据查询（DQL）和数据控制（DCL）等语句。如CREATE TABLE用于创建表，INSERT用于插入数据，SELECT用于查询，UPDATE用于更新数据，DELETE用于删除...
国产数据库kingbase数据迁移到mysql、DB2
08-07
针对国产数据库kingbase中数据迁移到mysql和DB2的一个小工具~~ 开发的时候写的方便自己用的一个小工具，想看源码直接winrar进去看就成~
人大金仓数据库SQL手册
07-27
人大金仓数据库SQL手册： 详细讲解SQL语法
Kingbase_database_金仓数据库入门_以及基础应用
01-08
Kingbase_database_金仓数据库入门_以及基础应用
KingbaseES 数据库导入导出方法
arthemis_14的博客
11-16 5058
目录 1. 数据库导入和导出概念 2. 数据库导出 3. 数据库导入 【参考资料】 1. 数据库导入和导出概念 数据库导入：把dmp格式文件从本地导入到数据库服务器中。 数据库导出：把数据库服务器中的数据导出到本地生成.dmp格式文件。 2. 数据库导出 数据库导出命令为exp。exp支持完全模式、用户模式和表模式三种导出功能。 命令格式： exp [OPTION]... [OPTION]:KEYWORD=value或者KEYWORD=( value1,value2,…,val.
高级DBA手把手教你Mysql大数据量批量导入人大金仓国产数据库方法（全网最详细）
nasen512的博客
08-31 5293
高级DBA手把手教你Mysql大数据批量导入人大金仓国产数据库的方法，全网最详细的内容
将EXCEL导入到数据库
shileimohan的专栏
12-03 1225
将excel导入到数据库汇中，有很多方法，这里介绍两种常用的简单的方法： 一、直接将excel保存成1997-2003版本的，不需要写SQL语句，过程如下：  1、打开企业管理器，打开要导入数据的数据库，在表上按右键，所有任务-->导入数据，弹出DTS导入/导出向导，按 下一步 ， 2、选择数据源 Microsoft Excel 97-2000，文件名 选择要导入的xls文件，按 下一步
kingbase（人大金仓）导出导入指定表
热门推荐
左直拳的马桶_日用桶
11-16 1万+
导出用sys_dump，导入用ksql。都采用命令行方式，未登录数据库，在外围进行。 项目正处于上线试运行阶段，正式环境下程序有些问题，与数据库有关。我想将正式环境下的一些数据库表导出来，导进开发库。 环境： 操作系统：UOS（统信，兼容debian、ubantu的国产linux） 数据库：kingbase（人大金仓） 步骤： 一、导出指定表 可以用人大金仓自带的数据库对象管理工具，方便快捷。但我面对的服务器，没有桌面端，只有命令行，并且是运行在浏览器上。同一网段的另一台机装有这个工具，但运行报错，说缺少了
金仓数据库字段_mysql迁移到金仓数据库（V8R3）
weixin_29838501的博客
12-23 1504
mysql迁移到金仓数据库(V8R3)方案​ 本次迁移为停机停服迁移，无需保障服务不中断，不存在在线数据实时迁移问题。为了实现mysql数据库迁移到金仓数据库，我们需要从以下几方面考虑解决方案金仓与mysql数据库差异/字段类型/语法差别文档(无官方文档，自己梳理)mysql迁移到金仓数据抽取&转换过程(金仓已提供)数据一致性校验工具(金仓迁移工具提供数据量对比)sql自动检查...
人大金仓数据的导入导出&简单命令
m0_52985087的博客
08-23 1万+
这篇文档主要是对于人大金仓数据库的导入导出的命令解释，以及你想要操作人大金仓数据库的一些常用命令，方便快速入门。
KingbaseES数据分区提升性能与可用性
数据分区是KingbaseES数据库管理系统中的一个重要特性，它旨在提升系统的性能、可用性和安全性。KingbaseES提供数据分区技术，通过将大型数据集划分为多个较小的、独立的部分，使得数据管理和操作变得更加高效和灵活...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值