达梦数据库导入导出统计信息

最新推荐文章于 2024-09-30 09:09:52 发布
最新推荐文章于 2024-09-30 09:09:52 发布
阅读量684 收藏 6
点赞数 16
分类专栏： DM数据库 文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shine_life/article/details/142640200
版权

  • 一、源端库

在金融行业XC过程中，经常会遇到数据迁移的情况，特别是将国外厂商数据库迁移到国产数据库上。在数据迁移过程中，数据统计信息是否准确是非常重要的，如果统计信息不准确，会直接影响到业务系统的运行性能。同时，由于金融业务系统的敏感性，数据迁移时间窗口非常有限，在完成数据迁移的同时，又要保障数据统计信息的准确，对于数据量较大的OLAP业务系统来说，压力和挑战是极大的。部分OLAP业务系统中，单表数据行数接近20亿级，单表数据容量达到600GB，数据库容量超过5TB，在极短的数据迁移时间窗口下，同时完成数据迁移和数据统计信息收集，是不可能完成的工作。针对这种情况，可以提前三天或一周的左右的时间收集数据统计信息，在数据迁移过程中，通过导出导入统计信息快速实现数据统计信息更新。本文基于以上思考，提供以下参考方法，欢迎交流和分享。

1.1基础数据

用户和模式名：BTIM

表名：BOOKS，表数据行数14680064。

表结构信息：

CREATE

        TABLE BOOKS

        (

                BOOK_ID   VARCHAR2(4) ,

                BOOK_NAME VARCHAR2(50),

                PRICE     VARCHAR2(5) ,

                QTY       VARCHAR2(4) ,

                PUB       VARCHAR2(50)

        );

1.2重建系统包

SP_CREATE_SYSTEM_PACKAGES(1);

[执行语句1]:

SP_CREATE_SYSTEM_PACKAGES(1);

执行成功, 执行耗时2秒 650毫秒. 执行号:609

影响了1条记录

1.3检查表统计信息

select count(*) from "SYSDBA"."BOOKS";

COUNT(*)

14680064

SELECT

        OWNER     ,

        TABLE_NAME,

        IOT_NAME  ,

        STATUS    ,

        NUM_ROWS

FROM

        DBA_TABLES

WHERE

        OWNER     ='SYSDBA'

    AND TABLE_NAME='BOOKS';

OWNER   TABLE_NAME  IOT_NAME       STATUS    NUM_ROWS

BTIM        BOOKS           BOOKS     VALID         14680064

DBMS_STATS.TABLE_STATS_SHOW('BTIM','BOOKS');

NUM_ROWS   LEAF_BLOCKS  LEAF_USED_BLOCKS

14680064        28288      28287

NUM_ROWS：表的总行数

LEAF_BLOCKS：总的页数

LEAF_USED_BLOCKS：已经使用的页数

1.4创建临时统计信息表

根据用户指定的名称创建一个增加了前缀的临时统计信息表，用于保存待导出的统计信

息。统计信息保存到该表中后，可以使用DM的数据导入导出工具进行跨实例导入导出。

DBMS_STATS.CREATE_STAT_TABLE('BTIM','TAB_BOOKS');

[执行语句1]:

DBMS_STATS.CREATE_STAT_TABLE('BTIM','TAB_BOOKS');

执行成功, 执行耗时134毫秒. 执行号:612

影响了1条记录

删除统计信息表

DBMS_STATS.DROP_STAT_TABLE ('BTIM','TAB_BOOKS');

1.5查看临时统计信息表信息

SELECT COUNT (*) FROM STAT$_TAB_BOOKS;

COUNT(*)

0

可以看到统计信息表为空。

1.6把目标表的统计信息导出到指定统计信息表中

执行下面备份语句

BEGIN FOR RS IN (SELECT OWNER,TABLE_NAME FROM DBA_TABLES WHERE OWNER='BTIM')

LOOP

DBMS_STATS.EXPORT_TABLE_STATS(RS.OWNER,RS.TABLE_NAME,STATTAB=>'TAB_BOOKS',STATID => 'T1_2024092601');

END LOOP;

END;

[执行语句1]:

BEGIN FOR RS IN (SELECT OWNER,TABLE_NAME FROM DBA_TABLES WHERE OWNER='BTIM')

LOOP

DBMS_STATS.EXPORT_TABLE_STATS(RS.OWNER,RS.TABLE_NAME,STATTAB=>'TAB_BOOKS',STATID => 'T1_2024092601');

END LOOP;

END;

执行成功, 执行耗时22毫秒. 执行号:633

影响了0条记录

1.7查询临时统计信息表信息数量

SELECT COUNT (*) FROM STAT$_TAB_BOOKS;

COUNT(*)

6

可以看到有6行数据，

1.8导出统计信息表

./dexp userid=BTIM/cssWEB123 FILE=BOOKS0926.dmp DIRECTORY=/home/dmdba/dmbackup LOG=BOOKS0926.log TABLES=BTIM.'STAT$_TAB_BOOKS'

dmdba@dm1:/home/dmdba/dmdbms/bin$ ./dexp userid=BTIM/cssWEB123 FILE=BOOKS0926.dmp DIRECTORY=/home/dmdba/dmbackup LOG=BOOKS0926.log TABLES=BTIM.'STAT$_TAB_BOOKS'

dexp V8

version: 03134284194-20240621-232765-20108

start dexp:

BTIM/******@LOCALHOST:5236 FILE=BOOKS0926.dmp DIRECTORY=/home/dmdba/dmbackup LOG=BOOKS0926.log TABLES=BTIM.STAT$_TAB_BOOKS

---- [2024-09-28 21:06:51]export table:BTIM.STAT$_TAB_BOOKS -----

export the privilege of the table...

table :BTIM.STAT$_TAB_BOOKS export terminate, total export 6 rows, size 1.420 KB

----- export total 1 TABLE  -----

all the export process spent total    0.153 s

terminate export success without warning

dmdba@dm1:/home/dmdba/dmdbms/bin$

二、目标库

完成BOOKS表统计信息还原，BOOKS表的数据迁移可以使用DTS、DEXP/DIMP、DMHS工具等，此处不对数据迁移进行详细描述。

2.1 创建临时统计信息表

DBMS_STATS.CREATE_STAT_TABLE('BTIM','TAB_BOOKS');

[执行语句1]:

DBMS_STATS.CREATE_STAT_TABLE('BTIM','TAB_BOOKS');

执行成功, 执行耗时15毫秒. 执行号:873

影响了1条记录

执行完成后，会自动生成STAT$_TAB_BOOKS表。

2.2 查询临时统计信息表信息

SELECT COUNT (*) FROM STAT$_TAB_BOOKS WHERE STATID='T1_2024092601';

COUNT(*)

0

将导出的dmp包上传到新数据库服务器上，执行下面命令将dmp数据导入到统计信息表中。

2.3 导入统计信息表

dmdba@dm1:/home/dmdba/dmdbms/bin$ ./dimp userid=BTIM/cssWEB123@192.168.2.11:5237 file=BOOKS0926.dmp DIRECTORY=/home/dmdba/dmbackup TABLE_EXISTS_ACTION=REPLACE

dimp V8

version: 03134284194-20240621-232765-20108

start dimp:

BTIM/******@192.168.2.11:5237 file=BOOKS0926.dmp DIRECTORY=/home/dmdba/dmbackup TABLE_EXISTS_ACTION=REPLACE

local code: PG_UTF8, dump file code: PG_UTF8

----- [2024-09-28 21:41:42]import table:BTIM.STAT$_TAB_BOOKS -----

[0/1]create table BTIM.STAT$_TAB_BOOKS 

[1/1]creating table is complate, table STAT$_TAB_BOOKS data is importing...

import table BTIM.STAT$_TAB_BOOKS , has coped with 6 rows, size 1.420 KB

[1/1]all the import process spent total    0.056 s

terminate import success without warning

dmdba@dm1:/home/dmdba/dmdbms/bin$

2.4 查询临时统计信息表信息

SELECT COUNT (*) FROM STAT$_TAB_BOOKS WHERE STATID='T1_2024092601';

COUNT(*)

6

为什么是6，而不是5或7，或者其他值。通过STAT$_TAB_BOOKS表的详细信息就会明白。

SELECT * FROM STAT$_TAB_BOOKS;

NAME和T_FLAG字段，STAT$_TAB_BOOKS中存放的是BOOKS表和5个字段的统计信息。

2.5 还原统计信息

DECLARE

BEGIN

      FOR RS IN

      (

            SELECT OWNER,TABLE_NAME FROM DBA_TABLES WHERE OWNER='BTIM' ORDER BY 2

      )

      LOOP

                  DBMS_STATS.IMPORT_TABLE_STATS(RS.OWNER,RS.TABLE_NAME, STATTAB=>'TAB_BOOKS', STATID => 'T1_2024092601');

                  PRINT ('TABLE_NAME:' || RS.TABLE_NAME);

                  PRINT ('CODE: ' || SQLCODE) ;

                  PRINT ('ERRM: ' || SQLERRM) ;

                  NULL;

      END LOOP;

END;

[执行语句1]:

DECLARE

BEGIN

      FOR RS IN

      (

            SELECT OWNER,TABLE_NAME FROM DBA_TABLES WHERE OWNER='BTIM' ORDER BY 2

      )

      LOOP

                  DBMS_STATS.IMPORT_TABLE_STATS(RS.OWNER,RS.TABLE_NAME, STATTAB=>'TAB_BOOKS', STATID => 'T1_2024092601');

                  PRINT ('TABLE_NAME:' || RS.TABLE_NAME);

                  PRINT ('CODE: ' || SQLCODE) ;

                  PRINT ('ERRM: ' || SQLERRM) ;

                  NULL;

      END LOOP;

END;

执行成功, 执行耗时52毫秒. 执行号:4614

TABLE_NAME:BOOKS

CODE: 0

ERRM: [0]:执行成功

TABLE_NAME:STAT$_TAB_BOOKS

CODE: 0

ERRM: [0]:执行成功

2.6 验证表的统计信息

select count(*) from "SYSDBA"."BOOKS";

COUNT(*)

14680064

SELECT

        OWNER     ,

        TABLE_NAME,

        IOT_NAME  ,

        STATUS    ,

        NUM_ROWS

FROM

        DBA_TABLES

WHERE

        OWNER     ='SYSDBA'

    AND TABLE_NAME='BOOKS';

   

OWNER   TABLE_NAME  IOT_NAME       STATUS    NUM_ROWS

BTIM        BOOKS           BOOKS    VALID   14680064

DBMS_STATS.TABLE_STATS_SHOW('BTIM','BOOKS');

NUM_ROWS   LEAF_BLOCKS    LEAF_USED_BLOCKS

14680064        28288              28287

通过BOOKS表的count(*)，dba_tables表的NUM_ROWS值，和TABLE_STATS_SHOW值，三个值是一致的，确定BOOKS表的统计信息是最新的，也是准确的。

shine_life
关注
专栏目录
达梦数据库导入导出
2201_75559416的博客
12-05 5859
达梦数据库导入导出
达梦7导入导出使用手册
11-27
达梦数据库是一款由达梦信息技术有限公司自主研发的关系型数据库管理系统，支持多种操作系统环境，包括Windows和Linux。本文档以达梦7数据库为例，详细介绍了其提供的两种命令行工具——dexp和dimp，用于逻辑方式...
达梦数据库导入导出方式
qq_20236937的博客
05-17 2539
例如：设置 FULL=Y，导出数据库的所有对象，导出数据库文件和日志文件放在路径 /mnt/data/dexp下。例如：设置 TABLES=table1，table2，导出 table1，table2 两张表的所有数据和信息。在数据库中，模式（SCHEMAS）是数据库对象的集合，这些对象归单个数据库用户所有，并且作为单个单元进行管理。这个级别允许你导出或导入一个或多个指定的表或表分区。SCHEMAS级别允许你导出或导入一个或多个模式下的所有对象。这个级别允许你导出或导入一个或多个用户所拥有的所有对象。
达梦数据库导入导出（dexp和dimp）
weixin_60888783的博客
08-18 1451
逻辑导出和逻辑导入数据库对象分为四种级别：数据库级、用户级、模式级和表级。四种级别独立互斥，不能同时存在。数据库级（FULL）：导出或导入整个数据库中的所有对象。用户级（OWNER）：导出或导入一个或多个用户所拥有的所有对象。模式级（SCHEMAS）：导出或导入一个或多个模式下的所有对象。表级（TABLES）：导出或导入一个或多个指定的表或表分区。注意事项数据库版本 ：源端导出的客户端版本号要低于导入目的端客户端版本号；
达梦数据库统计信息的导出导入
不定期分享数据库相关内容。
03-08 1689
随着数据库国产化进程的加快，越来越多的行业、越来越多的系统将选择我们的国产数据库，那么这个过程中必然会遇到大数据量系统迁移的情况，异构数据库迁移完成后，一定会在新替换的国产数据库中收集统计信息。举例：假如客户原来使用A数据库，迁移到新数据库后，统计信息首次完全收集耗时会很长，那么为了缩短这一时间，可以在A数据库系统切换到国产数据库的上线演练过程中，将统计信息完全收集并导出，在上线当天将前期的统计信息导入上线的生产环境，以此来缩短收集统计信息的耗时，那么整体的时间窗口也将会大大减少。3. 生成统计信息。
达梦数据库导入导出dmp文件的常见方式
热门推荐
zhiwenganyong的博客
12-11 3万+
达梦数据库管理系统是达梦公司推出的具有完全自主知识产权的高性能数据库管理系统，简称DM。达梦数据库管理系统的最新版本是8.0版本，简称DM8。DM8是达梦公司在总结DM系列产品研发与应用经验的基础上，坚持开放创新、简洁实用的理念，推出的新一代自研数据库。
达梦数据库导入导出操作步骤
weixin_48039295的博客
08-09 6702
达梦数据库导入导出操作步骤
达梦数据库导入导出工具dmfldr
文牧之的博客
04-14 1876
dmfldr（DM Fast Loader）是 DM 提供的快速数据装载命令行工具。用户通过使用dmfldr 工具能够把按照一定格式排序的文本数据以简单、快速、高效的方式载入到 DM 数据库中，或把 DM 数据库中的数据按照一定格式写入文本文件。其中，表及表的同义词支持数据导入和导出，视图及视图的同义词仅支持数据导出。dmfldr数据导出：可以按照用户指定的条件导出数据库中的数据，支持导出到不同格式的文件中，例如文本文件或CSV文件等。数据导入。
达梦数据库的导出（备份）、导入
查拉图斯特拉面条的博客
09-08 4491
偶尔会用到，记录、分享。 1. 数据库导出 1.1 切换到dmdba用户 su - dmdba 1.2 进入达梦数据库安装路径的bin目录，执行导库操作 　　导出语句：./dexp cwy_init/init_123456789@127.0.0.1:5236 file=cwy_init.dmp log=cwy_init_exp.log 　注释：　 　 cwy_init/init_123...
达梦数据库导入导出（不停机）
weixin_43824515的博客
04-15 440
（3）TABLES方式导出一个或多个指定的表或表分区，导出所有数据行、约束、索引等信息。（2）OWNER方式导出一个或多个用户拥有的所有对象。OWNER=<用户名>{,<用户名>}（1）FULL方式导出整个数据库。#导出用户ywb的所有对象。#导出名为test的这张表。
达梦数据库导入导出+DM8-dexp和dimp使用手册+DM 数据库的备份还原包括两种类型+物理备份还原+逻辑备份还原
05-16
### 达梦数据库导入导出知识点详解 #### 一、达梦数据库备份与恢复概述 达梦数据库（DM）提供了一套完整的数据保护方案，主要包括两种类型的备份与恢复：物理备份与逻辑备份。 1. **物理备份**： - **定义**：...
MySQL之复合查询与内外连接
最新发布
zdlynj的博客
09-30 655
前面我们讲解的mysql表的查询都是对一张表进行查询，即数据的查询都是在某一时刻对一个表进行操作的。而在实际开发中，我们往往还需要对多个表同时进行查询。我们这里使用的测试表，为雇员信息表(来自Oracle 9i的经典测试表)：EMP员工表，DEPT部门表，SALGRADE工资等级表。
k8s搭建一主三从的mysql8集群---无坑
oopxiajun博客专栏
09-27 927
对于构建基于MySQL的大规模、高性能应用来讲，需要使用水平扩展(集群)的数据库架构方式。在MySQL内建的复制功能可以实现，通过为服务器配置一个或多个备库的方式来进行数据同步。同时复制功能不仅有利于构建高性能的应用，也是高可用性、可扩展性、容灾、备份以及数据仓库等工作的基础。复制的基本原理是让一台服务器的数据与其他服务器保持同步。一台主库的数据可以同步到多台备库上，备库本身也可以被配置成另外一台服务器的主库。主库和备库之间可以有多种不同的组合方式。
Spring的热部署工具和数据库密码加盐操作
2301_77053417的博客
09-28 565
加密过程：用户输入的密码+盐值 --> 字符串1，然后使用md5对字符串1加密得到字符串2，然后字符串2+盐值 --> 字符串3，这个字符串3就是存储在数据库中的密文。背景：如果我们的密码明文存储在数据库中，要是被窃取了是非常的危险的，所以我们在数据库中存储的密码不能是明文的，需要进行加密后存储，也就是数据库中存储的是密文。解密过程：取出数据库中的盐值和用户输入的密码得到字符串1，使用md5对字符串1加密得到字符串2，然后验证字符串2和数据库中的密文即可。做好以上的步骤，你项目中的热部署就已经做好了。
JPA+Thymeleaf增删改查
y050505的博客
09-25 502
在使用JPA（Java Persistence API）和Thymeleaf作为模板引擎进行Web开发时，实现增删改查（CRUD）操作是一个常见的需求。下面，我将简要介绍如何使用Spring Boot框架结合JPA和Thymeleaf来实现这一功能。
[EBPF] 实时捕获DM数据库是否存在SQL阻塞
飞奔的屎壳郎
09-27 913
名称版本linux版本（centos8.5）DM88.1.4.27python利用ebpf技术在不登录数据库的情况下，通过对数据库的函数添加钩子，实时的对数据库是否存在阻塞判断现有的监控逻辑都是新建数据库用户执行SQL语句来判断阻塞情况，告警的实时性取决于监控的周期频率，而使用ebpf技术能够解决这个痛点ebpf有多种实现方式，这里便于理解测试的话 使用python语言内置c语言的形式进行了说明。涉及到生产环境应该是使用go语言或者c语言去做能够有效避免源码泄露等问题。
hive/impala/mysql几种数据库的sql常用写法和函数说明
biqidaoer的专栏
09-27 301
做大数据开发的时候，会在几种库中来回跳，同一个需求，不同库函数和写法会有出入，在此做汇总沉淀。
达梦数据库dmp导入导出
01-31
下面是两种常见的达梦数据库dmp导入导出的方式： 1. 使用命令行导出dmp文件： ```shell // 首先进入达梦安装目录的bin目录下 D:\dmdbms\bin> expdb SYSDBA/SYSDBA/PENG@localhost OWNER=HUOBI file=D:\HUOBI.dmp ``...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值