Clickhouse引擎三：外部存储引擎

最新推荐文章于 2024-07-06 23:55:28 发布

乖乖猪001

最新推荐文章于 2024-07-06 23:55:28 发布

阅读量590

点赞数

分类专栏： clickhouse 大数据文章标签：大数据

本文链接：https://blog.csdn.net/xiaozhaoshigedasb/article/details/115757425

版权

本文介绍了ClickHouse的外部存储引擎，包括HDFS、MySQL和FILE。HDFS引擎允许直接从HDFS读取数据，分为只读和可读写两种模式。MySQL引擎可与MySQL数据库交互，进行远程查询。FILE引擎则用于读取本地文件，支持数据导入导出和格式转换。

摘要由CSDN通过智能技术生成

Clickhouse引擎三：外部存储引擎

HDFS

Clickhouse 可以直接从 HDFS 中指定的目录下加载数据 , 自己根本不存储数据, 仅仅是读取数据 ENGINE = HDFS(hdfs_uri,format) ·hdfs_uri 表示 HDFS 的文件存储路径； ·format 表示文件格式（指 ClickHouse 支持的文件格式，常见的有 CSV、TSV 和 JSON 等）。注意的是 HDFS 引擎在处理数据的时候分为两种处理方式:

1 可以读写 HDFS 上的数据

在建表的时候指定HDFS上一个不存在的目录,我们可以向表中插如数据,我们会发现数据以指定的格式存储在 HDFS
上,注意的是 CK 不支持删除修改和追加数据 ,只能一次性的写入数据 , 删除表以后数据也不会被删除 ! 所以这种我们一般不是使用! create table test_hdfs( id Int8 , name String , age UInt8 , gender String )engine=HDFS(‘hdfs://linux01:8020/ck/data/test_hdfs’,CSV) ; insert into test_hdfs values(4,‘ww’,35,‘M’) ; [root@linux01 apps]# hdfs dfs -cat /ck/data/test_hdfs 4,“ww”,35,“M” 删除表以后,数据忽然会被删除

2 只负责读取 HDFS 上的数据 ,并不能对数据进行写操作

我们一般期望的是数据有其他方式写入到 HDFS系统中, 使用 CK 的 HDFS 引擎加载处理分析数据.
这种形式类似Hive的外挂表，由其他系统直接将文件写入HDFS。通过HDFS表引擎的hdfs_uri和format 参数分别与 HDFS 的文件路径、文件格式建立映射。其中，hdfs_uri 支持以下几种常见的配置方