IoTDB 入门教程 基础篇⑩——CSV导入导出工具

已于 2024-08-29 16:21:36 修改
阅读量3.1k 收藏 14
点赞数 36
分类专栏： Apache IoTDB 入门教程 文章标签： iotdb 数据库 导入 导出 备份
于 2024-07-26 10:26:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kangweijian/article/details/139936645
版权

文章目录

一、前文

IoTDB入门教程——导读

如果是使用开源版本IoTDB，那么有如下三种数据同步和备份的方法，可供选择。

如果是使用企业版本IoTDB（TimechoDB），那么一种数据同步的方法就够了，简单方便更好用。

IoTDB支持CSV文件导入导出，这一工具极大地简化了数据库备份、迁移以及同步的流程，为用户带来了极大的便利。

  • 数据库备份与迁移是数据库运维中的核心任务，其重要性不言而喻。
  • 确保备份过程既简单快捷又稳定可靠，对于保障数据安全与业务连续性至关重要。
  • 注意：IoTDB V1.3.2及之后版本使用tools/export-data、tools/import-data
  • 注意：IoTDB V1.3.1及之前版本使用tools/export-csv、tools/import-csv

二、导出

2.1 准备导出服务器

  • 登录数据库
[root@iZgw0bdpdtyqxyz77dha9nZ apache-iotdb-1.3.1-all-bin]# bash sbin/start-cli.sh 
---------------------
Starting IoTDB Cli
---------------------
 _____       _________  ______   ______    
|_   _|     |  _   _  ||_   _ `.|_   _ \   
  | |   .--.|_/ | | \_|  | | `. \ | |_) |  
  | | / .'`\ \  | |      | |  | | |  __'.  
 _| |_| \__. | _| |_    _| |_.' /_| |__) | 
|_____|'.__.' |_____|  |______.'|_______/  version 1.3.1 (Build: 214695d)
                                           

Successfully login at 127.0.0.1:6667
  • 创建数据库
IoTDB> CREATE DATABASE root.test.test
Msg: The statement is executed successfully.
IoTDB> show databases
+--------------+----+-----------------------+---------------------+---------------------+
|      Database| TTL|SchemaReplicationFactor|DataReplicationFactor|TimePartitionInterval|
+--------------+----+-----------------------+---------------------+---------------------+
|root.test.test|null|                      1|                    1|            604800000|
+--------------+----+-----------------------+---------------------+---------------------+
Total line number = 1
It costs 0.006s
  • 写入数据库
IoTDB> INSERT INTO root.test.test(status) values(1)
Msg: The statement is executed successfully.
IoTDB> INSERT INTO root.test.test(status) values(1)
Msg: The statement is executed successfully.
IoTDB> INSERT INTO root.test.test(status) values(2)
Msg: The statement is executed successfully.
IoTDB> INSERT INTO root.test.test(status) values(3)
Msg: The statement is executed successfully.
IoTDB> INSERT INTO root.test.test(status) values(11)
Msg: The statement is executed successfully.
IoTDB> INSERT INTO root.test.test(status) values(22)
Msg: The statement is executed successfully.
IoTDB> INSERT INTO root.test.test(status) values(33)
Msg: The statement is executed successfully.
  • 查询数据库
IoTDB> select status from root.test.test
+-----------------------------+---------------------+
|                         Time|root.test.test.status|
+-----------------------------+---------------------+
|2024-07-21T10:43:54.070+08:00|                  1.0|
|2024-07-21T10:44:22.376+08:00|                  1.0|
|2024-07-21T10:44:25.306+08:00|                  2.0|
|2024-07-21T10:44:27.752+08:00|                  3.0|
|2024-07-21T10:44:34.186+08:00|                 11.0|
|2024-07-21T10:44:36.251+08:00|                 22.0|
|2024-07-21T10:44:38.068+08:00|                 33.0|
+-----------------------------+---------------------+
Total line number = 7
It costs 0.119s

2.2 导出命令

bash tools/export-csv.sh  -h <ip> -p <port> -u <username> -pw <password> -td <directory> [-tf <time-format> -datatype <true/false> -q <query command> -s <sql file>]
  • -datatype
    • true (默认): 在CSV文件的header中时间序列的后面打印出对应的数据类型。例如：Time, root.sg1.d1.s1(INT32), root.sg1.d1.s2(INT64).
    • false: 只在CSV的header中打印出时间序列的名字, Time, root.sg1.d1.s1 , root.sg1.d1.s2
  • -q :
    • 在命令中直接指定想要执行的查询语句。
    • 例如: select * from root.** limit 100, or select * from root.** limit 100 align by device
  • -s :
    • 指定一个SQL文件，里面包含一条或多条SQL语句。如果一个SQL文件中包含多条SQL语句，SQL语句之间应该用换行符进行分割。每一条SQL语句对应一个输出的CSV文件。
  • -td :
    • 为导出的CSV文件指定输出路径。
  • -tf :
    • 指定一个你想要得到的时间格式。时间格式必须遵守ISO 8601标准。如果说你想要以时间戳来保存时间，那就设置为-tf timestamp。
    • 例如: -tf yyyy-MM-dd\ HH:mm:ss or -tf timestamp
  • -linesPerFile :
    • 指定导出的dump文件最大行数，默认值为10000。
    • 例如： -linesPerFile 1
  • -t :
    • 指定session查询时的超时时间，单位为ms

除此之外，如果你没有使用-s和-q参数，在导出脚本被启动之后你需要按照程序提示输入查询语句，不同的查询结果会被保存到不同的CSV文件中。

2.3 执行命令

[root@iZgw0bdpdtyqxyz77dha9nZ apache-iotdb-1.3.1-all-bin]# bash tools/export-csv.sh -h 127.0.0.1 -p 6667 -u root -pw root -td ./
------------------------------------------
Starting IoTDB Client Export Script
------------------------------------------
ExportCsv> please input query: select status from root.test.test
select status from root.test.test
Export completely!

2.4 csv文件

dump0_0.csv就是本次导出的csv文件。

在这里插入图片描述

在这里插入图片描述

三、导入

3.1 准备导入服务器

  • 登录数据库
[root@VM-0-3-centos apache-iotdb-1.3.1-all-bin]# bash sbin/start-cli.sh 
---------------------
Starting IoTDB Cli
---------------------
 _____       _________  ______   ______    
|_   _|     |  _   _  ||_   _ `.|_   _ \   
  | |   .--.|_/ | | \_|  | | `. \ | |_) |  
  | | / .'`\ \  | |      | |  | | |  __'.  
 _| |_| \__. | _| |_    _| |_.' /_| |__) | 
|_____|'.__.' |_____|  |______.'|_______/  version 1.3.1 (Build: 214695d)
                                           

Successfully login at 127.0.0.1:6667\
  • 查询数据库，没有数据
IoTDB> select status from root.test.test
+----+
|Time|
+----+
+----+
Empty set.
It costs 0.184s

3.2 上传csv文件

将在2.4小节获得的dump0_0.csv上传到导入服务器中

3.3 导入命令

bash tools/import-csv.sh -h <ip> -p <port> -u <username> -pw <password> -f <xxx.csv> [-fd <./failedDirectory>] [-aligned <true>] [-tp <ms/ns/us>] [-typeInfer <boolean=text,float=double...>] [-linesPerFailedFile <int_value>]
  • -f:
    • 指定你想要导入的数据，这里可以指定文件或者文件夹。如果指定的是文件夹，将会把文件夹中所有的后缀为txt与csv的文件进行批量导入。
    • 例如: -f filename.csv
  • -fd:
    • 指定一个目录来存放保存失败的行的文件，如果你没有指定这个参数，失败的文件将会被保存到源数据的目录中，然后文件名是源文件名加上.failed的后缀。
    • 例如: -fd ./failed/
  • -aligned:
    • 是否使用aligned接口？ 默认参数为false。
    • 例如: -aligned true
  • -batch:
    • 用于指定每一批插入的数据的点数。如果程序报了org.apache.thrift.transport.TTransportException: Frame size larger than protect max size这个错的话，就可以适当的调低这个参数。
    • 例如: -batch 100000，100000是默认值。
  • -tp:
    • 用于指定时间精度，可选值包括ms（毫秒），ns（纳秒），us（微秒），默认值为ms。
  • -typeInfer <srcTsDataType1=dstTsDataType1,srcTsDataType2=dstTsDataType2,…>:
    • 用于指定类型推断规则.
    • srcTsDataType 包括 boolean,int,long,float,double,NaN.
    • dstTsDataType 包括 boolean,int,long,float,double,text.
    • 当srcTsDataType为boolean, dstTsDataType只能为boolean或text.
    • 当srcTsDataType为NaN, dstTsDataType只能为float, double或text.
    • 当srcTsDataType为数值类型, dstTsDataType的精度需要高于srcTsDataType.
    • 例如:-typeInfer boolean=text,float=double
  • -linesPerFailedFile :
    • 用于指定每个导入失败文件写入数据的行数，默认值为10000。
    • 例如：-linesPerFailedFile 1

3.4 执行命令

  • 导入csv文件
[root@VM-0-3-centos apache-iotdb-1.3.1-all-bin]# bash tools/import-csv.sh -h 127.0.0.1 -p 6667 -u root -pw root -f dump0_0.csv -fd ./failed
------------------------------------------
Starting IoTDB Client Import Script
------------------------------------------
Import completely!
  • 登录数据库
[root@VM-0-3-centos apache-iotdb-1.3.1-all-bin]# bash sbin/start-cli.sh 
---------------------
Starting IoTDB Cli
---------------------
 _____       _________  ______   ______    
|_   _|     |  _   _  ||_   _ `.|_   _ \   
  | |   .--.|_/ | | \_|  | | `. \ | |_) |  
  | | / .'`\ \  | |      | |  | | |  __'.  
 _| |_| \__. | _| |_    _| |_.' /_| |__) | 
|_____|'.__.' |_____|  |______.'|_______/  version 1.3.1 (Build: 214695d)
                                           

Successfully login at 127.0.0.1:6667
  • 查询数据是否成功导入
IoTDB> select status from root.test.test
+-----------------------------+---------------------+
|                         Time|root.test.test.status|
+-----------------------------+---------------------+
|2024-07-21T10:43:54.070+08:00|                  1.0|
|2024-07-21T10:44:22.376+08:00|                  1.0|
|2024-07-21T10:44:25.306+08:00|                  2.0|
|2024-07-21T10:44:27.752+08:00|                  3.0|
|2024-07-21T10:44:34.186+08:00|                 11.0|
|2024-07-21T10:44:36.251+08:00|                 22.0|
|2024-07-21T10:44:38.068+08:00|                 33.0|
+-----------------------------+---------------------+
Total line number = 7
It costs 0.164s

四、总结

  • 相对而言，还是tsfile文件导入导出更加方便。
  • csv文件导入导出，还需要考虑数据类型，相对麻烦。
  • 1.3.2版本就没有export-csv.sh和import-csv.sh，取而代之的是export-data.sh和import-data.sh。

五、参考

导入导出工具 | IoTDB Website

觉得好，就一键三连呗（点赞+收藏+关注）

小康师兄
关注
  • 36
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
泰凌微8258入门教程 基础篇⑩——UUID的初始化和自定义
小康师兄
04-12 2220
泰凌微8258入门教程 基础篇⑩——UUID的初始化和自定义
泰凌微8258入门教程 基础篇②——BDT调试工具Tdebug实时查看全部变量
小康师兄
03-29 4061
泰凌微8258入门教程 基础篇②——BDT调试工具Tdebug实时查看全部变量
iotdb安装使用手册
08-14
iotdb安装使用手册，里面介绍了iotdb的安装和使用，有iotdb的使用示例；以及iotdb和grafana的使用。
iotdb 数据的导出（含将dos2unix 转换文件格式）
健康平安的活着的专栏
03-24 2749
一 iotdb数据的导出 1.首先进入到iotdb的客户端的tools目录下 root@172-16-26-29 iotdb-cli]# cd tools [root@172-16-26-29 tools]# ls export-csv.bat export-csv.sh import-csv.bat import-csv.sh mytest.txt 2.编写导出的sql脚本 [root@172-16-26-29 tools]# touch 0324sql.txt 内容如下： sele...
IoTDB 入门教程——导读
小康师兄
04-30 3779
IoTDB 入门教程——导读
IoTDB 入门教程 基础篇④——数据库用户管理和用户权限管理
小康师兄
05-02 4027
IoTDB 入门教程④——数据库用户管理和用户权限管理
IoTDB 入门教程 企业篇①——IoTDB企业版(TimechoDB)快速上手
最新发布
小康师兄
08-02 3005
IoTDB 入门教程 企业篇①——IoTDB企业版(TimechoDB)快速上手
ESP32-C3入门教程 基础篇⑩——SNTP(Simple Network Time Protocol) 网络时间同步的简单实例
小康师兄
05-14 1200
ESP32-C3入门教程 基础篇⑩——SNTP(Simple Network Time Protocol) 网络时间同步的简单实例
泰凌微8258入门教程 基础篇⑬——群组（订阅）增删流程
小康师兄
05-26 1471
泰凌微8258入门教程 基础篇 ⑬——群组（订阅）增删流程
ESP32-C3入门教程 基础篇①——基于VS Code构建Hello World
小康师兄
09-14 5900
文章目录一、构建项目二、配置项目三、选择目标芯片四、快速运行 一、构建项目 按下F1 输入ESP-IDF: Show Examples Projects 选择Use current ESP-IDF (/path/to/esp-idf) 选择get-started—>hello_world，Create project using example blink 选择一个文件夹，即可 二、配置项目 点击左下角的设置按钮 三、选择目标芯片 按下F1 输入ESP-IDF: Set Espress
iotdb数据库
08-14
iotdb是时间序列数据管理数据库，安装简单，亲测有效，如有不会，可以在下方留言
【IotDB时时序数据库实战教程，突出项目实际建表规则以及常见操作方式】
weixin_43992119的博客
07-13 886
otDB时序数据库实战教程，突出项目实际建表规则以及常见操作方式
IoTDB 入门教程 基础篇①——时序数据库为什么选IoTDB ？
小康师兄
04-30 5326
IoTDB 入门教程①——时序数据库为什么选IoTDB ？
IoTDB使用学习笔记（一）
m0_62586939的博客
10-30 491
环境配置与启动 安装环境 环境要求：需要保证设备上配有 JDK>=1.8 的运行环境，并配置好 JAVA_HOME 环境变量。 按照要求完成环境配置，如下图所示 安装软件 在天谋科技官网下载最新版本安装包 解压至自己选定的路径（路径中不可以有空格） sbin 启动和停止脚本目录 conf 配置文件目录 tools 系统工具目录 lib 依赖包目录 软件启动 在sbin目录下输入windows命令> sbin\start-standa
server导出csv文件不去除0 sql_Apache IoTDB 发布 0.10.0！
weixin_34304274的博客
12-05 119
经历了半年的时间，0.10.0 大版本终于发布了！下面来看看这个版本的功能吧~正文 2652 字，预计阅读时间 7 分钟。发布手册参考：https://raw.githubusercontent.com/apache/incubator-iotdb/release/0.10.0/RELEASE_NOTES.md新功能查询最新数据点，如 select last * from root新的 ...
IoTDB 可实现的基本操作 : 数据导入、基本查询、聚合查询 | 小白教程文档（三）...
qin_DB的博客
11-17 4626
前言上篇教程介绍了 Apache IoTDB 的基本架构、可部署形态、安装启动方法及数据模型，了解了这些 IoTDB 的基本概念，下面我们就将开始介绍 IoTDB 处理时序数据实现的具体功能和具体的操作命令。本篇将介绍 Apache IoTDB 可实现的数据导入和查询相关的功能类型和 SQL 语句命令，后篇将介绍 IoTDB 如何实现数据的删除、导出和元数据操作。1导入时间序列使用 Apache ...
IoTDB 入门教程 基础篇⑨——TsFile导入导出工具
小康师兄
05-04 5297
IoTDB 入门教程 基础篇⑨——TsFile导入导出工具
IoTDB 可实现的基本操作 —— 数据写入、删除、导出、元数据管理、时区设置 | 小白教程文档（四）...
qin_DB的博客
12-10 2372
前言上篇教程介绍了 Apache IoTDB 处理时序数据时，能够实现的部分具体功能和具体的操作命令，包括数据导入、基本查询、和聚合查询。本篇将继续介绍 Apache IoTDB 可实现的其他功能和相关 SQL 语句命令，包括数据的写入、删除、导出、元数据操作和时区设置的注意事项。1数据写入、删除与导出1.1插入数据物联网场景下，元件产生数据将自动写入，但有时候，如果过去的一些数据需要修改，可以使...
PostGIS教程：ESRI Shapefile数据的导入导出与安装指南
PostGIS是PostgreSQL数据库的重要空间扩展，它专为高效处理和管理空间数据设计。在这个框架下，文章重点介绍了...无论是初学者还是经验丰富的开发者，都能从中获益，掌握如何在PostGIS环境中进行数据的导入导出工作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小康师兄

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值