TDEngine - taosdump的安装与使用实战

回到目录  回到末尾

一、taosdump简介

TDEngine官网 - 参考手册：taosdump

  taosdump 是一个支持从运行中的 TDengine 集群备份数据并将备份的数据恢复到相同或另一个运行中的 TDengine 集群中的工具应用程序。
  taosdump 可以用数据库、超级表或普通表作为逻辑数据单元进行备份，也可以对数据库、超级 表和普通表中指定时间段内的数据记录进行备份。使用时可以指定数据备份的目录路径，如果 不指定位置，taosdump 默认会将数据备份到当前目录。
  如果指定的位置已经有数据文件，taosdump 会提示用户并立即退出，避免数据被覆盖。这意味着同一路径只能被用于一次备份。 如果看到相关提示，请小心操作。
  taosdump 是一个逻辑备份工具，它不应被用于备份任何原始数据、环境设置、 硬件信息、服务端配置或集群的拓扑结构。taosdump 使用 Apache AVRO 作为数据文件格式来存储备份数据。

回到目录  回到末尾

二、下载

  taosTools工具包，包含备份taosdump和taosBenchmark工具，不能单独使用，需要先安装客户端和服务端。客户端和服务端安装参考链接：TDEngine3.0环境安装及配置
  taosTools下载链接：TDEngine官网 - taosTools发布历史页面

tips:
1、下载的版本最好与实际安装的TDEngine Server版本对应，实际的安装包后缀与server的后缀部不是一致的
2、server 2.0版本之后的建议下载1.4.5之后版本
3、如果安装之后，taos服务可以正常启动，但是运行taosdump时异常：缺少.so文件，大概率是因为版本不匹配，建议更换taostools版本。

  我这边实战匹配过的版本如下示例：

tdenger server	taostoools
2.4.0.16	1.4.5
2.6.0.32	2.2.4
3.0.4.2	2.2.4

  因为我这边安装的TDEngine Server版本是3.4.0.2，第一次匹配安装的taostools版本为2.1.3，该版本数据导入时是可以的，但是数据导出时会报异常（【点击查看异常信息及解决方案】），然后升级到2.2.4版本后就可以正常导出了。所以后面本文的截图部分是2.1.3下的安装信息，部分是2.2.4的安装信息，不影响整体安装流程的部分图片没有修订。

server安装参考，对应下载的taostools版本为：taosTools-2.2.4-Linux-x64.tar.gz

  注意：最好不要在同一个系统上，同时使用rpm 、tar 、 deb安装。如果服务端用的是.tar.gz形式安装，客户端和taostools最好也用.tar.gz形式安装。

回到目录  回到末尾

三、安装

3.1 tar方式安装

1.创建目录，并将下载的文件传输至目录：

mkdir /home/tdengine

2. 解压缩：tar -zxvf taosTools-2.2.4-Linux-x64.tar.gz
   查看加压缩后的目录：

#查看解压缩后的目录
ls
#进入解压缩后的目录
 cd taosTools-2.2.4
#查看目录下的文件内容
ls

3.执行安装命令：./install-taostools.sh

卸载命令：./uninstall-taostools.sh

安装成功后，进入taos shell命令查看安装是否成功。

回到目录  回到末尾

3.2 rpm方式安装

执行命令：

#命令·
 rpm -ivh rpm文件位置及名称.rpm
 #示例
 rpm -ivh /home/soft/taosTools-2.2.4-Linux-x64-comp3.rpm

回到目录  回到末尾

四、taosdump主要参数

  taosdump 的导出行为的本质其实是使用 SQL 进行查询，将数据压缩后输出到本地，导入行为则是通过 STMT 接口再把导出的数据导入新的环境。因此，能够顺利完成数据导出的用户，应尽量拥有如下几个特征：
（1）拥有足够磁盘空间，建议需要至少留出 du -sh $dataDir/vnode --exclude=‘wal’ 大小的 3 倍空间（多多益善）。但如果是按照库/表为单位分批导出，或者指定时间范围导出的话，就比较灵活了。
（2）数据库日常使用负载不高，在大量导出 SQL 执行时，数据库仍有充足资源可以保障正常生产使用。
（3）待迁移的数据为测试环境不需担心影响业务，或者生产环境的业务间歇期足够完成数据的导出。
  只要磁盘空间充足，时间充足，就可以完成导出操作。导入则相对简单，没有额外需求，按照正常的数据库部署思路即可。

taosdump主要参数
-o：指定输出文件的路径。文件会自动生成。一个dbs.sql文件，导出数据库、超级表；若干个XXX_tables.N.sql文件，文件名的规则：XXX是数据库名称，N是数字，从0开始递增
-u：用户名。
-p：密码。
-A：指示导出所有数据库的数据。
-D：表示指定数据库。
-i：表示输入目录。
-s：表示导出schema。
-t：指定导入到一个文件的表的个数。该参数可以控制输出文件的大小。（网上很多博客里面都有记录这个参数，但是好像taosdump已经不用这个参数了）
-B：指定一条import语句中包含记录的条数。注意：不要让sql语句超过64k，否则后续导入会出错。该参数为了后续导入时，提高导入速率。
-T： 指定导出数据时，启动的线程数。建议设置成机器上core的2倍。

可以通过 命令 taosdump --help 获取参数信息

回到目录  回到末尾

五、taosdump数据导出（备份）

# 以tar形式安装的，需要先进入taostools安装目录，rpm方式安装的这步骤可以忽略
cd 安装目录
# 执行导出命令
 taosdump -o <导出存放目录>  -D 需要导出的数据库

1.创建导出目录

#创建存放数据总目录
mkdir /home/tdengine/taosdump
#创建本次导出存放目录
mkdir /home/tdengine/taosdump/data20230602
#进入存放目录
cd /home/tdengine/taosdump/data20230602

2.执行导出命令：
（1）进入taostool的安装目录 - rpm方式安装的这步骤可以忽略

#进入taostool的安装目录 - 
cd /home/tdengine/taosTools-2.2.4
#查看该目录下是否有bin目录
ls

（2）执行命令导出：

 #执行命令导出 - 指定数据库及时间范围
 taosdump -o /home/backupdatas/tljddatan2023.4.20-4.30/ -D tljd_datan -S 2023-04-20T00:00:00Z -E 2023-05-01T00:00:00Z

如果是通过rpm形式安装的taostools可以在任意目录下执行taosdump命令，不需要进入安装目录，格式示例：taosdump -o /taosdump/data20230602/ -A

3.查看导出的文件：

#进入刚指定的导出目录
cd  /home/backupdatas/tljddatan2023.4.20-4.30
#查看是否已存在备份文件
ls

回到目录  回到末尾

六、taosdump数据导入

# 以tar形式安装的，需要先进入taostools安装目录，rpm方式安装的这步骤可以忽略
cd 安装目录
# 执行导入命令
 taosdump -i <导入的数据存放目录> 

1. 进入taostools安装目录： - rpm方式安装的这步骤可以忽略

 cd /home/tdengine/taosTools-2.2.4

2. 执行命令：taosdump -i <data dir>

#如：
taosdump -i /home/tdengine/taosdump/data20230602/

回到目录  回到末尾

七、不同版本的数据迁移

参考链接：如何把数据从 TDengine 2.x 迁移到 3.x ？
参考链接：如何把数据从 TDengine 2.x 迁移到 3.x ？
迁移背景：
1、数据导出：将TDEngine2.4.0.16中数据通过taostools.1.4.5中的taosdump工具将数据导出。
2、数据导入：在TDEngine3.0.4.2中通过taostools.2.1.3中的taosdump工具将数据导入。

7.1 问题：报错- create database 语句不一致

导入时报错：create database 语句不一致

对别导出的dbs.sql中数据库的创建语句，和TDEngine3.0中的数据创建语句：

#查看数据库创建语句
SHOW CREATE DATABASE  数据库名称  \G;

对比两边的创建语句，发现语句不相同：

7.2 解决：修改导出的dbs.sql

 修改导出的dbs.sql中的create database语句，删除create database语句中默认的参数设置，只保留需要特别设置的属性。

CREATE DATABASE IF NOT EXISTS 库名称  [KEEP 保留时间][..其他必要设置];

比如我的数据库需要设置保留天数1825天（5年），其他的参数不需要特别注意，将语句修改为：

CREATE DATABASE IF NOT EXISTS test KEEP 1825d;

修改前的2.0语句为：

修改后的语句为：

再执行导入：

./bin/taosdump -i /home/tdengine/taosdump/datatest/

这一次成功了：

tips：
如果你还出现其他的错误，根据提示，对比2.0和3.0版本中的语句差异，调整sql文件。

回到目录  回到末尾

八、卸载

【TDEngine彻底卸载 - taostools工具卸载】

九、异常 - error in ‘taosdump:malloc’

如果在数据导入或导出过程中，遇到上图所示的问题，解决步骤如下：

1. 先看导出目录下的内存是否足够，不够的话，换其他目录导出
2. 如果在内存充足的情况下，出现上述问题那么可能是taostools版本不对，不能适应数据导出或导入，建议升级到高版本重试。

回到目录  回到末尾

十、 更多

• TDEngine的常用命令及功能总结
• TDEngine环境安装、配置及使用经验总结
• taosdump的安装与使用实战
• TDengine3.0与2.0版本的差异总结
• TDEngine 调优 - 高速查询及插入
• TDEngine彻底卸载
• 异常解决 - Error in `taosdump‘: malloc(): memory corruption: 0x0
• 数据库管理工具DBeaver 连接 TDengine详细教程