如何从mysql数据库提取数据字典_使用工具直接抽取MySQL数据字典

最新推荐文章于 2024-07-10 03:47:02 发布
最新推荐文章于 2024-07-10 03:47:02 发布
阅读量1k 收藏
点赞数
文章标签： 如何从mysql数据库提取数据字典
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_29361879/article/details/113136898
版权
本文介绍了在MySQL数据库不启动的情况下，如何通过工具读取InnoDB引擎的数据文件来抢救数据，特别是针对数据字典的抽取。首先，创建并填充了一个名为get_dict的测试表，然后通过stream_parser工具解析ibdata1文件获取数据。接着，利用c_parser抽取了SYS_TABLES、SYS_COLUMNS和SYS_INDEXES的数据，并导入到新的数据字典表中，验证了抽取数据的正确性。这种方法在数据库无法正常启动时，能帮助恢复数据字典信息。
摘要由CSDN通过智能技术生成

熟悉Oracle的朋友都知道,当Oracle数据库无法正常启动之时,可以通过dul或者其他三方工具直接读取数据文件中数据,从而来抢救数据,减少损失,在mysql中如果使用了innodb引擎也可以在mysql数据库不启动启动下抽取相关记录.本文为抽取数据字典篇章,后续将继续提供d

熟悉Oracle的朋友都知道,当Oracle数据库无法正常启动之时,可以通过dul或者其他三方工具直接读取数据文件中数据,从而来抢救数据,减少损失,在mysql中如果使用了innodb引擎也可以在mysql数据库不启动启动下抽取相关记录.本文为抽取数据字典篇章,后续将继续提供drop恢复,truncate 恢复,delete恢复等mysql非常规恢复篇章.

创建一张get_dict测试表

mysql> use xifenfei;

Reading table information for completion of table and column names

You can turn off this feature to get a quicker startup with -A

Database changed

mysql> show tables;

+--------------------+

| Tables_in_xifenfei |

+--------------------+

| t_delete |

+--------------------+

1 row in set (0.00 sec)

mysql> create table get_dict(id int not null primary key,name varchar(100));

Query OK, 0 rows affected (0.01 sec)

mysql> insert into get_dict value(1,'www.xifenfei.com');

Query OK, 1 row affected (0.00 sec)

mysql> insert into get_dict value(2,'www.xifenfei.com-xifenfei');

Query OK, 1 row affected (0.00 sec)

mysql> insert into get_dict value(3,'xifenfei-www.xifenfei.com');

Query OK, 1 row affected (0.00 sec)

mysql> show tables;

+--------------------+

| Tables_in_xifenfei |

+--------------------+

| get_dict |

| t_delete |

+--------------------+

2 rows in set (0.00 sec

mysql> select TABLE_NAME,TABLE_SCHEMA,TABLE_TYPE from information_schema.tables

-> where table_name='get_dict';

+------------+--------------+------------+

| TABLE_NAME | TABLE_SCHEMA | TABLE_TYPE |

+------------+--------------+------------+

| get_dict | xifenfei | BASE TABLE |

+------------+--------------+------------+

1 row in set (0.01 sec)

mysql> select TABLE_NAME,NON_UNIQUE,TABLE_SCHEMA,INDEX_SCHEMA,INDEX_NAME,COLUMN_NAME from

-> INFORMATION_SCHEMA.STATISTICS where TABLE_NAME='get_dict';

+------------+------------+--------------+--------------+------------+-------------+

| TABLE_NAME | NON_UNIQUE | TABLE_SCHEMA | INDEX_SCHEMA | INDEX_NAME | COLUMN_NAME |

+------------+------------+--------------+--------------+------------+-------------+

| get_dict | 0 | xifenfei | xifenfei | PRIMARY | id |

+------------+------------+--------------+--------------+------------+-------------+

1 row in set (0.00 sec)

mysql> select TABLE_SCHEMA,TABLE_NAME,COLUMN_NAME,ORDINAL_POSITION from

-> information_schema.COLUMNS where table_name='get_dict';

+--------------+------------+-------------+------------------+

| TABLE_SCHEMA | TABLE_NAME | COLUMN_NAME | ORDINAL_POSITION |

+--------------+------------+-------------+------------------+

| xifenfei | get_dict | id | 1 |

| xifenfei | get_dict | name | 2 |

+--------------+------------+-------------+------------------+

2 rows in set (0.01 sec)

关闭mysql数据库

[root@localhost recovery_mysql]# service mysql stop

Shutting down MySQL..[ OK ]

[root@localhost recovery_mysql]# ps -ef|grep mysql

root 18876 15827 0 18:05 pts/1 00:00:00 grep mysql

使用工具解析innodb文件

[root@localhost recovery_mysql]# ./stream_parser -f /var/lib/mysql/ibdata1

Opening file: /var/lib/mysql/ibdata1

File information:

Opening file: /var/lib/mysql/ibdata1

File information:

ID of device containing file: 2054

inode number: 1782889

ID of device containing file: 2054

protection: 100660 inode number: 1782889

(regular file)

protection: 100660 number of hard links: 1

(regular file)

user ID of owner: 101

number of hard links: 1

group ID of owner: 102

user ID of owner: 101

device ID (if special file): 0

group ID of owner: 102

blocksize for filesystem I/O: 4096

device ID (if special file): 0

number of blocks allocated: 24616

blocksize for filesystem I/O: 4096

Opening file: /var/lib/mysql/ibdata1

number of blocks allocated: 24616

File information:

………………

user ID of owner: 101

group ID of owner: 102

device ID (if special file): 0

blocksize for filesystem I/O: 4096

ID of device containing file: 2054

number of blocks allocated: 24616

inode number: 1782889

protection: 100660 (regular file)

number of hard links: 1

user ID of owner: 101

group ID of owner: 102

device ID (if special file): 0

blocksize for filesystem I/O: 4096

number of blocks allocated: 24616

time of last access: 1417922668 Sun Dec 7 11:24:28 2014

time of last modification: 1418294104 Thu Dec 11 18:35:04 2014

time of last status change: 1418294104 Thu Dec 11 18:35:04 2014

time of last access: 1417922668 Sun Dec 7 11:24:28 2014

total size, in bytes: 12582912 (12.000 MiB)

time of last modification: 1418294104 Thu Dec 11 18:35:04 2014

time of last status change: 1418294104 Thu Dec 11 18:35:04 2014

Size to process: 12582912 (12.000 MiB)

total size, in bytes: 12582912 (12.000 MiB)

Size to process: 12582912 (12.000 MiB)

All workers finished in 0 sec

主要文件介绍

[root@localhost recovery_mysql]# ls -l pages-ibdata1/FIL_PAGE_INDEX/

total 1388

-rw-r--r-- 1 root root 16384 Dec 11 18:51 0000000000000001.page

-rw-r--r-- 1 root root 16384 Dec 11 18:51 0000000000000002.page

-rw-r--r-- 1 root root 49152 Dec 11 18:51 0000000000000003.page

-rw-r--r-- 1 root root 49152 Dec 11 18:51 0000000000000004.page

-rw-r--r-- 1 root root 16384 Dec 11 18:51 0000000000000005.page

-rw-r--r-- 1 root root 114688 Dec 11 18:51 0000000000000011.page

-rw-r--r-- 1 root root 114688 Dec 11 18:51 0000000000000012.page

-rw-r--r-- 1 root root 114688 Dec 11 18:51 0000000000000013.page

-rw-r--r-- 1 root root 114688 Dec 11 18:51 0000000000000014.page

-rw-r--r-- 1 root root 114688 Dec 11 18:51 0000000000000015.page

-rw-r--r-- 1 root root 147456 Dec 11 18:51 0000000000000016.page

-rw-r--r-- 1 root root 98304 Dec 11 18:51 0000000000000017.page

-rw-r--r-- 1 root root 114688 Dec 11 18:51 0000000000000018.page

-rw-r--r-- 1 root root 49152 Dec 11 18:51 0000000000000019.page

-rw-r--r-- 1 root root 49152 Dec 11 18:51 0000000000000020.page

-rw-r--r-- 1 root root 49152 Dec 11 18:51 0000000000000021.page

-rw-r--r-- 1 root root 65536 Dec 11 18:51 0000000000000025.page

-rw-r--r-- 1 root root 16384 Dec 11 18:51 18446744069414584320.page

0000000000000001.page主要是记录mysql中表信息文件

0000000000000002.page主要是记录mysql中的表的列的信息文件

0000000000000003.page主要是记录mysql中表的index信息文件

抽取table数据

[root@localhost recovery_mysql]# ./c_parser -4f pages-ibdata1/FIL_PAGE_INDEX/0000000000000001.page -t

dictionary/SYS_TABLES.sql > dumps/default/SYS_TABLES 2> dumps/default/SYS_TABLES.sql

[root@localhost recovery_mysql]# grep get dumps/default/SYS_TABLES | head -5

000000000D1D 95000001510110 SYS_TABLES "xifenfei/get\_dict" 23 2 1 0 80 "" 9

[root@localhost recovery_mysql]# cat dumps/default/SYS_TABLES.sql

SET FOREIGN_KEY_CHECKS=0;

LOAD DATA LOCAL INFILE '/tmp/recovery_mysql/dumps/default/SYS_TABLES' REPLACE INTO TABLE `SYS_TABLES`

FIELDS TERMINATED BY '\t' OPTIONALLY ENCLOSED BY '"' LINES STARTING BY 'SYS_TABLES\t'

(`NAME`, `ID`, `N_COLS`, `TYPE`, `MIX_ID`, `MIX_LEN`, `CLUSTER_NAME`, `SPACE`);

抽取column数据

[root@localhost recovery_mysql]# ./c_parser -4f pages-ibdata1/FIL_PAGE_INDEX/0000000000000002.page

-t dictionary/SYS_COLUMNS.sql > dumps/default/SYS_COLUMNS 2> dumps/default/SYS_COLUMNS.sql

[root@localhost recovery_mysql]# cat dumps/default/SYS_COLUMNS

-- Page id: 10, Format: REDUNDANT, Records list: Valid, Expected records: (115 115)

000000000300 800000012D0123 SYS_COLUMNS 11 0 "ID" 1 4 0 0

000000000300 800000012D0138 SYS_COLUMNS 11 1 "FOR\_NAME" 1 4 0 0

…………

000000000D1D 95000001510129 SYS_COLUMNS 23 0 "id" 6 1283 4 0

000000000D1D 9500000151013E SYS_COLUMNS 23 1 "name" 1 524303 100 0

-- Page id: 10, Found records: 115, Lost records: NO, Leaf page: YES

[root@localhost recovery_mysql]# more dumps/default/SYS_COLUMNS.sql

SET FOREIGN_KEY_CHECKS=0;

LOAD DATA LOCAL INFILE '/tmp/recovery_mysql/dumps/default/SYS_COLUMNS' REPLACE INTO TABLE

`SYS_COLUMNS` FIELDS TERMINATED BY '\t' OPTIONALLY ENCLOSED BY

'"' LINES STARTING BY 'SYS_COLUMNS\t' (`TABLE_ID`, `POS`, `NAME`, `MTYPE`, `PRTYPE`, `LEN`, `PREC`);

抽取index数据

[root@localhost recovery_mysql]# ./c_parser -4f pages-ibdata1/FIL_PAGE_INDEX/0000000000000003.page

-t dictionary/SYS_INDEXES.sql > dumps/default/SYS_INDEXES 2> dumps/default/SYS_INDEXES.sql

[root@localhost recovery_mysql]# more dumps/default/SYS_INDEXES.sql

SET FOREIGN_KEY_CHECKS=0;

LOAD DATA LOCAL INFILE '/tmp/recovery_mysql/dumps/default/SYS_INDEXES' REPLACE INTO TABLE

`SYS_INDEXES` FIELDS TERMINATED BY '\t' OPTIONALLY ENCLOSED BY '"' LINES STARTING BY 'SYS_INDEXES\t'

(`TABLE_ID`, `ID`, `NAME`, `N_FIELDS`, `TYPE`, `SPACE`, `PAGE_NO`);

[root@localhost recovery_mysql]# more dumps/default/SYS_INDEXES

-- Page id: 11, Format: REDUNDANT, Records list: Valid, Expected records: (13 13)

000000000300 800000012D0177 SYS_INDEXES 11 11 "ID\_IND" 1 3 0 302

…………

000000000B02 820000013504C8 SYS_INDEXES 20 22 "GEN\_CLUST\_INDEX" 0 1 6 3

000000000D1D 9500000151016B SYS_INDEXES 23 25 "PRIMARY" 1 3 9 3

启动mysql数据库

[root@localhost recovery_mysql]# service mysql start

Starting MySQL..[ OK ]

[root@localhost recovery_mysql]# ps -ef|grep mysql

root 18948 1 0 19:57 pts/1 00:00:00 /bin/sh /usr/bin/mysqld_safe --datadir=/var/lib/mysql

--pid-file=/var/lib/mysql/localhost.localdomain.pid

mysql 19049 18948 14 19:57 pts/1 00:00:00 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql

--plugin-dir=/usr/lib64/mysql/plugin --user=mysql

--log-error=/var/lib/mysql/localhost.localdomain.err --pid-file=/var/lib/mysql/localhost.localdomain.pid

root 19078 15827 0 19:58 pts/1 00:00:00 grep mysql

创建抽取数据字典表

mysql> source dictionary/SYS_TABLES.sql

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

…………

mysql> source dictionary/SYS_INDEXES.sql

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

…………

mysql> source dictionary/SYS_COLUMNS.sql

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

…………

mysql> show tables;

+----------------+

| Tables_in_test |

+----------------+

| SYS_COLUMNS |

| SYS_INDEXES |

| SYS_TABLES |

+----------------+

3 rows in set (0.00 sec)

加载抽取数据字典数据

mysql> source dumps/default/SYS_TABLES.sql

Query OK, 0 rows affected (0.00 sec)

Query OK, 11 rows affected (0.03 sec)

Records: 11 Deleted: 0 Skipped: 0 Warnings: 0

mysql> source dumps/default/SYS_INDEXES.sql

Query OK, 0 rows affected (0.00 sec)

Query OK, 39 rows affected (0.01 sec)

Records: 39 Deleted: 0 Skipped: 0 Warnings: 0

mysql> source dumps/default/SYS_COLUMNS.sql

Query OK, 0 rows affected (0.00 sec)

Query OK, 115 rows affected (0.00 sec)

Records: 115 Deleted: 0 Skipped: 0 Warnings: 0

验证抽取数据字典数据

mysql> desc SYS_TABLES

-> ;

+--------------+---------------------+------+-----+---------+-------+

| Field | Type | Null | Key | Default | Extra |

+--------------+---------------------+------+-----+---------+-------+

| NAME | varchar(255) | NO | PRI | | |

| ID | bigint(20) unsigned | NO | | 0 | |

| N_COLS | int(10) | YES | | NULL | |

| TYPE | int(10) unsigned | YES | | NULL | |

| MIX_ID | bigint(20) unsigned | YES | | NULL | |

| MIX_LEN | int(10) unsigned | YES | | NULL | |

| CLUSTER_NAME | varchar(255) | YES | | NULL | |

| SPACE | int(10) unsigned | YES | | NULL | |

+--------------+---------------------+------+-----+---------+-------+

8 rows in set (0.00 sec)

mysql> SELECT NAME,ID from SYS_TABLES WHERE NAME='xifenfei/get_dict';

+-------------------+----+

| NAME | ID |

+-------------------+----+

| xifenfei/get_dict | 23 |

+-------------------+----+

1 row in set (0.00 sec)

mysql> desc SYS_COLUMNS

-> ;

+----------+---------------------+------+-----+---------+-------+

| Field | Type | Null | Key | Default | Extra |

+----------+---------------------+------+-----+---------+-------+

| TABLE_ID | bigint(20) unsigned | NO | PRI | NULL | |

| POS | int(10) unsigned | NO | PRI | NULL | |

| NAME | varchar(255) | YES | | NULL | |

| MTYPE | int(10) unsigned | YES | | NULL | |

| PRTYPE | int(10) unsigned | YES | | NULL | |

| LEN | int(10) unsigned | YES | | NULL | |

| PREC | int(10) unsigned | YES | | NULL | |

+----------+---------------------+------+-----+---------+-------+

7 rows in set (0.00 sec)

mysql> SELECT TABLE_ID,NAME,MTYPE FROM SYS_COLUMNS WHERE TABLE_ID=23;

+----------+------+-------+

| TABLE_ID | NAME | MTYPE |

+----------+------+-------+

| 23 | id | 6 |

| 23 | name | 1 |

+----------+------+-------+

2 rows in set (0.01 sec)

mysql> SELECT TABLE_ID,ID,NAME,TYPE FROM SYS_INDEXES WHERE TABLE_ID=23;

+----------+----+---------+------+

| TABLE_ID | ID | NAME | TYPE |

+----------+----+---------+------+

| 23 | 25 | PRIMARY | 3 |

+----------+----+---------+------+

1 row in set (0.00 sec)

这里基本上可以看出来,在mysql数据库未启动情况下,使用工具可以正常抽取mysql数据字典信息

Mysql查询视图：ERROR 1449 (HY000)

mysqldump+mysqlbinlog恢复测试

mysql解锁

innobackupex增量备份测试

Mysql Merge表

mysql主从切换

mysql关于log_bin相关命令

MYSQL修改密码

Blue许
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ogg远程抽取mysql数据_oracle goldengate 远程捕获和投递
weixin_39575502的博客
02-05 1131
很早之前，OGG只支持部署在数据库主机上，这叫本地化部署。而现在OGG支持远端部署，即OGG软件不安装在数据库主机上，而是安装在单独的机器上，负责数据抽取和投递。这样做的好处：l易于管理 - 在单独的服务器上运行Oracle GoldenGate时，您可以更好的管理OGG，降低对生产数据库的影响，比如硬件升级升级，性能调整，软件修补和升级等操作变得更易于管理，风险更低。另一方面，从长远来看，您需要...
python从一个数据库导数据到另一个数据库中（mysql）
李坚强的博客
05-27 9122
语句 import pymysql #查询的数据表 db2=pymysql.connect('172.16.33.100','root','mt123456','tz_after_loan') cursor2=db2.cursor() len2=cursor2.execute('select * from address ' ) #插入的数据表 db1=pymysql...
mysql数据字典
11-30
mysql数据字典
MYSQL可以存储DICT字典
最新发布
weixin_41074737的博客
07-10 47
MYSQL可以存储DICT字典 在数据库管理系统中，MYSQL是一种常用的关系型数据库，它可以存储各种类型的数据，包括字典（DICT）类型的数据。字典是一种键值对的数据结构，通常用于存储一组相关联的信息。在MYSQL中，我们可以通过创建适当的数据表来存储字典数据，以便后续的检索和处理。 字典数据表设计 在MYSQL中，我们...
Mysql生成数据字典
WwLK123的博客
03-23 4294
实现原理 在MySQL中，有个自带的数据库，名为information_schema。其中保存着关于MySQL服务器所维护的所有其他数据库的信息。如数据库名，数据库的表，表栏的数据类型与访问权 限等。我们通过查询这个数据库的COLUMNS表（此表提供了其他所有表中的列信息）信息，来获取我们需要的表结构信息，从而将其导出为数据字典。 实现案例 navicat 执行以下SQL的查询（如果需要其他字段，请参考下面COLUMNS表字段拓展）： SELECT COLUMN_NAME AS '字段名'
mysql获取数据字典
xulong5000的专栏
12-01 1075
1：SQL语句 <!--查看数据字典 --> <select id="queryDbDictionary" parameterType="string" resultType="DbDictionary"> SELECT a.TABLE_SCHEMA as tableSchema, a.TABLE_NAME as tableName, a.COLUMN_NAME as columnName, ...
MySQL数据字典
liaowenxiong的博客
09-30 2062
数据字典就类似于系统编目或花名册，它保存数据库服务器上的元数据信息（数据库的整体属性信息）。 元数据信息包括：数据库的属性信息、数据表的属性信息、字段的属性信息、视图的属性信息、用户信息、统计类信息等。 MySQL 保存元数据的数据库有：mysql 库、infomation_schema 库、performance_schema 库，performance_schema 库是一个虚拟的库，类似于 Linux 的 /proc 等伪文件系统。 ...
一个很不错的数据字典生成工具.
05-19
标题中的“一个很不错的数据字典生成工具”指的是这样一种软件工具，它能够自动或半自动地从数据库中抽取信息，生成易于理解和维护的数据字典。这样的工具通常包含以下特性： 1. **自动化提取**：能够连接到多种...
MySQL数据库：ER模型设计.pptx
05-29
将各局部应用涉及的数据分别从数据字典中抽取出来，参照数据流图，确定各局部应用中的实体、实体的属性、标识实体的码、实体之间的联系及其类型（1∶1，1∶n，m∶n）。 ;假设有如下实体： （1）学生：学号、姓名、...
理解数据库理解数据处理数据描述共39页.pdf.zip
11-22
- 数据字典（Data Dictionary）是记录所有数据库元素的参考工具，提供关于数据项、数据结构、数据流、数据存储和处理过程的详细信息。 4. **数据处理技术**： - OLAP（Online Analytical Processing）用于多维...
MySQL创建数据字典
03-24
通过配置数据库，可以实现把数据库里面所有字段拿出来展示在HTML网页上
Mysql数据字典
IT邦德
04-05 1596
目前B站正在直播Mysql、Oracle实战，详情请关注公众号：IT邦德 1 关于约束的数据字典 mysql> select DISTINCT a.CONSTRAINT_TYPE from information_schema.table_constraints a; mysql> select * from information_schema.table_constraints a where CONSTRAINT_SCHEMA='db1'; 2 查询表和列 --最齐全的信息查询
MySql常用字典表
dazhi_100的专栏
07-14 4257
1、显示数据库列表 mysql>show databases; 说明：其中字典库是：information_schema，其中常用字典表： INFORMATION_SCHEMA.SCHEMATA  --数据库中所有数据库信息 INFORMATION_SCHEMA.TABLES  --存放数据库中所有数据库表信息 INFORMATION_SCHEMA.COLUMNS  --所有数据库表的列
mysql的数据字典
mxdxm8899的专栏
12-16 436
      因为对元数据(元数据就是那些关于如何数据库的那些数据)的使用已经变得愈来愈普遍了，MySQL5在产品中也相应地设计了一个专门的数据库，这个数据库的固定名称就是information_schema，该数据库作为一个中心数据字典的角色出现，其中包含了数据库的所有对象信息和其他与数据库相关的项目(比如安全)，这些对象等信息都在MySQL服务器产品中做了定 义。数据库管理人员和相关开发人员可以...
mysql—数据字典
翔之天空的专栏
08-27 330
参考：《mysql内核：innodb存储引擎》第十四章 InnoDB数据字典--字典表加载：https://blog.51cto.com/yanzongshuai/2095186 测试环境：Mysql 5.6.43版本 此文只是对上面的参考文章 做了一个整理 ...
mysql生成数据字典
热门推荐
zwrlj527的专栏
06-14 1万+
序 项目要交互了，需要数据库脚本与字典说明。 以前都是用pd生成，但是win10太麻烦，使用jdbc连接老出问题，使用odbc还可以。这次重装系统了，没有装这样的软件。后来听同事说有个比较简单的软件：MySQL-Front，试了下，确实比较简单，生成的文件类型也比较全面 这里主要说说navicat premium，有2种方式 1.打印数据库 选择数据库后，点...
MySQL数据库操作实践：数据字典与表管理
"本次实验主要围绕MySQL数据库进行，目的是让学生理解数据字典、表、索引、视图等核心概念，以及如何操作这些元素。实验内容涵盖了查询数据字典中的各种信息，创建与管理数据库，定义和修改表结构，以及复制表和删除...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值