文章目录
一、前文
如果是使用开源版本IoTDB,那么有如下三种数据同步和备份的方法,可供选择。
如果是使用企业版本IoTDB(TimechoDB),那么一种数据同步的方法就够了,简单方便更好用。
IoTDB支持CSV文件导入导出,这一工具极大地简化了数据库备份、迁移以及同步的流程,为用户带来了极大的便利。
- 数据库备份与迁移是数据库运维中的核心任务,其重要性不言而喻。
- 确保备份过程既简单快捷又稳定可靠,对于保障数据安全与业务连续性至关重要。
- 注意:IoTDB V1.3.2及之后版本使用tools/export-data、tools/import-data
- 注意:IoTDB V1.3.1及之前版本使用tools/export-csv、tools/import-csv
二、导出
2.1 准备导出服务器
- 登录数据库
[root@iZgw0bdpdtyqxyz77dha9nZ apache-iotdb-1.3.1-all-bin]# bash sbin/start-cli.sh
---------------------
Starting IoTDB Cli
---------------------
_____ _________ ______ ______
|_ _| | _ _ ||_ _ `.|_ _ \
| | .--.|_/ | | \_| | | `. \ | |_) |
| | / .'`\ \ | | | | | | | __'.
_| |_| \__. | _| |_ _| |_.' /_| |__) |
|_____|'.__.' |_____| |______.'|_______/ version 1.3.1 (Build: 214695d)
Successfully login at 127.0.0.1:6667
- 创建数据库
IoTDB> CREATE DATABASE root.test.test
Msg: The statement is executed successfully.
IoTDB> show databases
+--------------+----+-----------------------+---------------------+---------------------+
| Database| TTL|SchemaReplicationFactor|DataReplicationFactor|TimePartitionInterval|
+--------------+----+-----------------------+---------------------+---------------------+
|root.test.test|null| 1| 1| 604800000|
+--------------+----+-----------------------+---------------------+---------------------+
Total line number = 1
It costs 0.006s
- 写入数据库
IoTDB> INSERT INTO root.test.test(status) values(1)
Msg: The statement is executed successfully.
IoTDB> INSERT INTO root.test.test(status) values(1)
Msg: The statement is executed successfully.
IoTDB> INSERT INTO root.test.test(status) values(2)
Msg: The statement is executed successfully.
IoTDB> INSERT INTO root.test.test(status) values(3)
Msg: The statement is executed successfully.
IoTDB> INSERT INTO root.test.test(status) values(11)
Msg: The statement is executed successfully.
IoTDB> INSERT INTO root.test.test(status) values(22)
Msg: The statement is executed successfully.
IoTDB> INSERT INTO root.test.test(status) values(33)
Msg: The statement is executed successfully.
- 查询数据库
IoTDB> select status from root.test.test
+-----------------------------+---------------------+
| Time|root.test.test.status|
+-----------------------------+---------------------+
|2024-07-21T10:43:54.070+08:00| 1.0|
|2024-07-21T10:44:22.376+08:00| 1.0|
|2024-07-21T10:44:25.306+08:00| 2.0|
|2024-07-21T10:44:27.752+08:00| 3.0|
|2024-07-21T10:44:34.186+08:00| 11.0|
|2024-07-21T10:44:36.251+08:00| 22.0|
|2024-07-21T10:44:38.068+08:00| 33.0|
+-----------------------------+---------------------+
Total line number = 7
It costs 0.119s
2.2 导出命令
bash tools/export-csv.sh -h <ip> -p <port> -u <username> -pw <password> -td <directory> [-tf <time-format> -datatype <true/false> -q <query command> -s <sql file>]
- -datatype
true (默认)
: 在CSV文件的header中时间序列的后面打印出对应的数据类型。例如:Time, root.sg1.d1.s1(INT32), root.sg1.d1.s2(INT64).false
: 只在CSV的header中打印出时间序列的名字, Time, root.sg1.d1.s1 , root.sg1.d1.s2
- -q :
- 在命令中直接指定想要执行的查询语句。
- 例如: select * from root.** limit 100, or select * from root.** limit 100 align by device
- -s :
- 指定一个SQL文件,里面包含一条或多条SQL语句。如果一个SQL文件中包含多条SQL语句,SQL语句之间应该用换行符进行分割。每一条SQL语句对应一个输出的CSV文件。
- -td :
- 为导出的CSV文件指定输出路径。
- -tf :
- 指定一个你想要得到的时间格式。时间格式必须遵守ISO 8601标准。如果说你想要以时间戳来保存时间,那就设置为-tf timestamp。
- 例如: -tf yyyy-MM-dd\ HH:mm:ss or -tf timestamp
- -linesPerFile :
- 指定导出的dump文件最大行数,默认值为10000。
- 例如: -linesPerFile 1
- -t :
- 指定session查询时的超时时间,单位为ms
除此之外,如果你没有使用-s和-q参数,在导出脚本被启动之后你需要按照程序提示输入查询语句,不同的查询结果会被保存到不同的CSV文件中。
2.3 执行命令
[root@iZgw0bdpdtyqxyz77dha9nZ apache-iotdb-1.3.1-all-bin]# bash tools/export-csv.sh -h 127.0.0.1 -p 6667 -u root -pw root -td ./
------------------------------------------
Starting IoTDB Client Export Script
------------------------------------------
ExportCsv> please input query: select status from root.test.test
select status from root.test.test
Export completely!
2.4 csv文件
dump0_0.csv
就是本次导出的csv文件。
三、导入
3.1 准备导入服务器
- 登录数据库
[root@VM-0-3-centos apache-iotdb-1.3.1-all-bin]# bash sbin/start-cli.sh
---------------------
Starting IoTDB Cli
---------------------
_____ _________ ______ ______
|_ _| | _ _ ||_ _ `.|_ _ \
| | .--.|_/ | | \_| | | `. \ | |_) |
| | / .'`\ \ | | | | | | | __'.
_| |_| \__. | _| |_ _| |_.' /_| |__) |
|_____|'.__.' |_____| |______.'|_______/ version 1.3.1 (Build: 214695d)
Successfully login at 127.0.0.1:6667\
- 查询数据库,没有数据
IoTDB> select status from root.test.test
+----+
|Time|
+----+
+----+
Empty set.
It costs 0.184s
3.2 上传csv文件
将在2.4小节获得的dump0_0.csv上传到导入服务器中
3.3 导入命令
bash tools/import-csv.sh -h <ip> -p <port> -u <username> -pw <password> -f <xxx.csv> [-fd <./failedDirectory>] [-aligned <true>] [-tp <ms/ns/us>] [-typeInfer <boolean=text,float=double...>] [-linesPerFailedFile <int_value>]
- -f:
- 指定你想要导入的数据,这里可以指定文件或者文件夹。如果指定的是文件夹,将会把文件夹中所有的后缀为txt与csv的文件进行批量导入。
- 例如: -f filename.csv
- -fd:
- 指定一个目录来存放保存失败的行的文件,如果你没有指定这个参数,失败的文件将会被保存到源数据的目录中,然后文件名是源文件名加上.failed的后缀。
- 例如: -fd ./failed/
- -aligned:
- 是否使用aligned接口? 默认参数为false。
- 例如: -aligned true
- -batch:
- 用于指定每一批插入的数据的点数。如果程序报了org.apache.thrift.transport.TTransportException: Frame size larger than protect max size这个错的话,就可以适当的调低这个参数。
- 例如: -batch 100000,100000是默认值。
- -tp:
- 用于指定时间精度,可选值包括ms(毫秒),ns(纳秒),us(微秒),默认值为ms。
- -typeInfer <srcTsDataType1=dstTsDataType1,srcTsDataType2=dstTsDataType2,…>:
- 用于指定类型推断规则.
- srcTsDataType 包括 boolean,int,long,float,double,NaN.
- dstTsDataType 包括 boolean,int,long,float,double,text.
- 当srcTsDataType为boolean, dstTsDataType只能为boolean或text.
- 当srcTsDataType为NaN, dstTsDataType只能为float, double或text.
- 当srcTsDataType为数值类型, dstTsDataType的精度需要高于srcTsDataType.
- 例如:-typeInfer boolean=text,float=double
- -linesPerFailedFile :
- 用于指定每个导入失败文件写入数据的行数,默认值为10000。
- 例如:-linesPerFailedFile 1
3.4 执行命令
- 导入csv文件
[root@VM-0-3-centos apache-iotdb-1.3.1-all-bin]# bash tools/import-csv.sh -h 127.0.0.1 -p 6667 -u root -pw root -f dump0_0.csv -fd ./failed
------------------------------------------
Starting IoTDB Client Import Script
------------------------------------------
Import completely!
- 登录数据库
[root@VM-0-3-centos apache-iotdb-1.3.1-all-bin]# bash sbin/start-cli.sh
---------------------
Starting IoTDB Cli
---------------------
_____ _________ ______ ______
|_ _| | _ _ ||_ _ `.|_ _ \
| | .--.|_/ | | \_| | | `. \ | |_) |
| | / .'`\ \ | | | | | | | __'.
_| |_| \__. | _| |_ _| |_.' /_| |__) |
|_____|'.__.' |_____| |______.'|_______/ version 1.3.1 (Build: 214695d)
Successfully login at 127.0.0.1:6667
- 查询数据是否成功导入
IoTDB> select status from root.test.test
+-----------------------------+---------------------+
| Time|root.test.test.status|
+-----------------------------+---------------------+
|2024-07-21T10:43:54.070+08:00| 1.0|
|2024-07-21T10:44:22.376+08:00| 1.0|
|2024-07-21T10:44:25.306+08:00| 2.0|
|2024-07-21T10:44:27.752+08:00| 3.0|
|2024-07-21T10:44:34.186+08:00| 11.0|
|2024-07-21T10:44:36.251+08:00| 22.0|
|2024-07-21T10:44:38.068+08:00| 33.0|
+-----------------------------+---------------------+
Total line number = 7
It costs 0.164s
四、总结
- 相对而言,还是tsfile文件导入导出更加方便。
- csv文件导入导出,还需要考虑数据类型,相对麻烦。
- 1.3.2版本就没有
export-csv.sh
和import-csv.sh
,取而代之的是export-data.sh
和import-data.sh
。
五、参考
觉得好,就一键三连呗(点赞+收藏+关注)