达梦快速加载及逻辑导入导出性能对比

weixin_43455738

已于 2022-05-10 22:07:16 修改

阅读量546

点赞数

文章标签：数据库

于 2022-05-10 21:48:33 首次发布

本文链接：https://blog.csdn.net/weixin_43455738/article/details/124697602

版权

本文对比了达梦数据库的快速装载工具dmfldr与逻辑导入导出工具dexp/dimp在性能上的差异。在测试环境下，dmfldr在导入导出时的速度比dexp/dimp快约4倍。测试涉及的表包含63个字段，1265180条记录，且探讨了工具使用过程中可能遇到的问题和解决方案。

摘要由CSDN通过智能技术生成

达梦快速加载及逻辑导入导出性能对比

使用达梦数据库时经常会有数据迁移工作，对于大数据量的导入导出工作，性能尤为重要，在此对达梦常用的2个工具性能进行对比，供大家参考：

1.快速装载工具：dmfldr
2.逻辑导入、导出工具：dimp/dexp
注：常用的另一工具：图形化迁移工具dts在这里不作比较。

测试场景介绍

表字段数量：63（无blob,clob,text等大字段）
表记录数：1265180
Dexp导出文件大小：484M
Dmfldr导出文件大小：405M

一、结论

在当前测试环境下，dmfldr无论在导入或是导出时，性能均比逻辑导入导出速度快4倍左右。

在这里插入图片描述

二、测试过程

1.dexp导出

命令：
./dexp USERID=DMTEST/DMTEST123 FILE=/opt/DMTEST.LICO_IA_ASSIGNSCHEME_tmp.dmp tables=DMTEST.LICO_IA_ASSIGNSCHEME_tmp

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_43455738

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

达梦数据库之快速装载数据

weixin_37860829的博客

03-22

448

一.什么是快速装载问题引入:在实际的工作应用中，我们会有文本的数据需要快速且高效地导入到达梦数据库中，相反，也会将达梦数据库的数据按照一定格式导出道文本之中，那么，达梦数据库是怎样实现的呢？答案就是:dmfldr工具。 DMfldr（DM FAST LOADER）DM提供的快速数据装载命令行工具。用户通过使用dmfldr工具能够把按照一定格式排序的文本数据以简单、快速、高效的方式载入到DM数据库中，或把DM数据库中的数据按照一定格式写入文本文件。简单来说就是高效率的文本数据文件载入数据库，数据库数据导出

达梦数据库导入数据的几种方法

foreverdeczy的博客

09-28

8053

在实际工作中，经常会遇到一类需求，需要把生产数据库导入到测试数据库中进行相关测试，笔者在这里进行介绍几种方法及其适用场景，主要有逻辑导出和逻辑导入、物理备份还原、dmdts，并用测试环境演示一遍。

1 条评论您还未登录，请先登录后发表或查看评论

达梦数据库dmfldr快速装载工具的使用

不定期分享数据库相关内容。

02-20

2761

dmfldr（DM Fast Loader）是DM提供的快速数据装载命令行工具。用户通过使用dmfldr工具能够把按照一定格式排序的文本数据以简单、快速、高效的方式载入到DM数据库中，或把DM数据库中的数据按照一定格式写入文本文件。

达梦数据库迁移DTS表对比

最新发布

yannsann的博客

07-22

415

达梦数据库迁移mysql2dm，使用dts迁移后的表数据精度不对，需要修正。网上很难搜到，特此记录。

达梦数据库huge表与普通表插入性能对比

2301_81334168的博客

12-04

575

huge是一种存储在hdfs文件系统上的列式存储结果，适合海量数据分析查询，虽然支持事务，对于删改通过辅助表记录因此不适合频繁增删改，可查看达梦系统管理员手册第十六章具体了解。普通表：15964.939(ms)已使用huge表：12773.090(ms)已使用插入性能相差是在huge表可以设置不记录日志。另外做一些聚合查询对比huge表执行成功, 执行耗时853毫秒. 执行号:3738普通表执行成功, 执行耗时5秒 509毫秒. 执行号:3739。

达梦 (DM8) 数据库快速安装

Mr.ACO的专栏

05-27

337

达梦数据库 DM8

达梦分区包，快速加载，数据迁移，索引，序列

qq_33636588的博客

11-25

1170

3 分区表 3.1 默认的表即索引组织表，无主键利用rowid，并发不好 SQL> select para_name,para_value from v$dm_ini where para_name=‘LIST_TABLE’; 行号 para_name para_value 1 LIST_TABLE 0 已用时间: 47.601(毫秒). 执行号:526. LIST_TABLE： =0，创建的表为默认的索引组织表 =1，创建的表为堆表不建议改这个系统参数，想要建堆表就

使用easyexcel进行多个模板的导入，普通导入导出

weixin_52394256的博客

01-26

2438

首先，添加依赖  <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>2.1.6</version> </depend

dmfldr工具学习笔记-达梦数据库

weixin_45058470的博客

05-13

1311

目录一．概述... 2 二．dmfldr入门... 3 三．工具使用... 5 1.指定数据文件... 5 2.数据转换与错误数据文件... 7 3.服务器端错误数据处理... 8 4.大字段数据处理... 9 5.日志文件与日志信息... 11 6.自增列装载... 12 7.数据排序... 14 8.空值处理... 15 10.条件过滤... 18 11.多表装载... 19 12.个性化设置... 20 13. 主备切换时的数据继续载入... 21 14.MPP本地分

达梦数据库如何快速装载数据

键盘上的艺术

02-21

580

前言我们在工作中经常需要将文本的数据快速、高效地导入到数据库中，同时也需要将数据库中的数据按照一定格式导出到文本中。在DM数据库中有什么好的方法呢？答案就是dmfldr工具。 Dmfldr（DM Fast Loader)是DM提供的快速数据装载命令行工具。用户通过使用dmfldr工具能够把按照一定格式排序的文本数据以简单、快速、高效的方式载入到DM数据库中，或把DM数据库中的数据按照一定格式写...

Oracle导出的dmp格式文件导入到达梦的操作步骤

11-27

详细介绍了从Oracle数据库中导出的dmp格式的数据库文件再导入到达梦7中的操作步骤

达梦数据库dmfldr快速数据装载工具从控制台操作到jni编程问题总结（windows+linux）

69岁法外狂徒的博客

03-29

1476

在Windows和Linux系统下，所需的jar包可能不同，请确保从达梦的正确目录获取所需的jar包。需要确保控制文件中数据文件路径和表名正确，并根据需要设置正确的分隔符，注意数据库表的大小写，假如表名是小写，需加上双引号，如模式名."表名"，否则无法识别到数据库对象。请确保在执行命令时处理输出流，以避免进程阻塞的情况发生。目标是实现多线程将多个有大字段的文本数据文件导入数据库表中，特别注意单表不能多线程，多线程指的同时导入不同的表。这样，即使输出流产生了大量内容，也能够及时处理，避免进程挂起的情况发生。

达梦：dmfldr 数据装载

Penrosee的博客

08-14

977

达梦数据装载dmfldr工具使用及简单的导入导出操作示例

达梦dmfldr快速载入载出工具使用实践

哲学之卵的博客

08-18

366

适合异构数据系统的数据快速、通用的数据交换方案。

达梦数据对比工具的部署与使用

不定期分享数据库相关内容。

12-22

1075

压缩Linux rh6 x86版本的达梦数据库bin目录，例如压缩文件为dmbin.tar.gz，将文件拷贝到Oracle服务器指定目录并解压（如：/home/oracle/dmbin），给目录/home/oracle/dmbin授予相关权限和用户组。

达梦管理工具和DTS工具的使用

weixin_50364480的博客

01-21

867

1.达梦管理(MANAGER)工具的使用路径 cd /dmdata/dmdbms/tool/ ./manager 例子：导出，导入DMHR模式。导出DMHR过程：导入DMHR过程： 2.达梦迁移工具的使用(DTS) 路径 cd /dmdata/dmdbms/tool/ 双击dts.exe excel表格里的内容打开管理工具查询数据达梦数据库 - 新一代大型通用关系型数据库 | 达梦云适配中...

达梦数据库快速数据装载工具dmfldr载出和载入

m0_38044789的博客

08-01

1757

dmfldr的全称是DM Fast Loader，是DM7提供的快速数据装载工具，能够简单、快速、高效地把按一定格式排列的文本数据装载到DM数据库中，也能将DM7中的数据按一定格式写入文本文件。要使用dmfldr，必须先创建控制文件（control file），控制文件用来指定导入或导出数据文件的路径、格式以及其他 dmfldr 参数值。一、载出 1.创建一个控制文件在/opt/dmfldr/目录下创建控制文件employees.ctl，内容如下： LOAD DATA INFILE '/o

达梦dmfldr快速加载报col nums in data file is not enough错误

weixin_43455738的博客

05-10

607

这里写自定义目录标题达梦dmfldr快速加载报col nums in data file is not enough错误达梦dmfldr快速加载报col nums in data file is not enough错误使用达梦快速加载工具dmfldr装载数据时，有时会报出：col nums in data file is not enough错误，该错误一般是由于列分隔符或行分隔符太简单，导致正常数据中包含该分隔符，可尝试更换分隔符再试，建议使用多个字符组合，这样可降低数据中出现的概率，一般均会解决。