Clickhouse笔记——数据字典

最新推荐文章于 2023-09-05 21:41:35 发布
最新推荐文章于 2023-09-05 21:41:35 发布
阅读量1.6k 收藏 3
点赞数
分类专栏： Clickhouse 文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_23016999/article/details/107933885
版权

文章目录

数据字典

1. 内置字典

2. 外部扩展字典

2.1. 准备

以CSV数据为准，在ch的配置文件config.xml下，<dictionaries_config>*_dictionary.xml</dictionaries_config>, 默认将加载所有该匹配到的配置文件。并且支持不停机更新。完整的配置结构如下：

<?xml version="1.0"?>
<dictionaties>
    <dictionary>
        <name>geo</name>

        <structure>
            <!--典的数据结构-->
            <!-- <id> 或者 <key> 用于定义字典的键值,相当于数据库的主键,
包括数值型UInt64, 支持flat、hashed、range_hashed、cache-->
            <id>
                <!--Key属性-->
            </id>

            <!-- 符合型 -->
            <key>
                <attribute>
                    <name>field1</name>
                    <type>String</type>
                </attribute>
                <attribute>
                    <name>field2</name>
                    <type>UInt64</type>
                </attribute>
            </key>

            <attribute>
                <!--字段属性-->
            </attribute>
        </structure>

        <layout>
            <!--内存中的数据格式类型 7种-->
        </layout>

        <source>
            <!--数据源配置 文件、数据库和其他 三类数据来源-->
        </source>

        <lifetime>
            <!--字典的自动更新频率-->
        </lifetime>
    </dictionaty>
</dictionaties>

其中，标签attribute中的配置说明如下：

配置名称是否必填默认值说明
name是–字段名称
type是–字段类型
null_value是–在查询时，条件key没有对应元素时的默认值
expression否无表达式表达式，可以调用或者表达式
hierarchical否false是否支持层次结构
injective否false是否支持集合单映射优化，开启后在后续的GROUP BY查询中，如果调用了dictGet函数通过key获取value，则该value直接从GROUP BY数据返回
is_object_id否false是否开启MongoDB优化，通过ObjectID对MongoDB文档执行查询

2.2. 扩展字典的类型

扩展字典的类型使用layout元素定义，目前支持7种类型。一个字段类型，决定了其数据在内存中的存储结构和字典支持的key类型。一种是单数值的key类型，包括flat、hashed、range_hashed和cache;另一类是复合key类型，包括complex_key_hashed、complex_key_cache和ip_trie。

2.2.1. flat

flat字典是性能最高的字典类型，只能以UInt64数值型key,使用数组结构存储,初始大小为1024上限为500000,在创建字典时数据量超出其上限，那么字典会创建失败。以下为flat字典的示例：

测试数据：

1,"a0001","研发部"
2,"a0002","产品部"
3,"a0003","数据部"
4,"a0004","测试部"
5,"a0005","运维部"
6,"a0006","规划部"

配置文件：

<?xml version="1.0"?>
<dictionaries>
    <dictionary>
        <name>test_flat_dict</name>
        <!--数据源-->
        <source>
            <file>
                <path>/home/data/ch/organization.csv</path>
                <format>CSV</format>
            </file>
        </source>

        <!--字典类型-->
        <layout>
            <flat/>
        </layout>

        <!--与数据结构对应-->
        <structure>
            <id>
                <name>id</name>
            </id>
            
            <attribute>
                <name>code</name>
                <type>String</type>
                <null_value></null_value>
            </attribute>

            <attribute>
                <name>name</name>
                <type>String</type>
                <null_value></null_value>
            </attribute>
        </structure>

        <lifetime>
            <min>300</min>
            <max>360</max>
        </lifetime>
    </dictionary>
</dictionaries>

由于字典数据是懒加载，起初的状态为 NOT_LOADED：
在这里插入图片描述

在查询了数据后：
在这里插入图片描述
在这里插入图片描述

2.2.2. hashed

hashed字典与flat不同的是，flat是以数组的方式存储，hashed则是散列结构，没有上限制约。
以下是hashed字典的配置示例：

<?xml version="1.0"?>
<dictionaries>
    <dictionary>
        <name>test_flat_dict</name>
        <!--数据源-->
        <source>
            <file>
                <path>/home/data/ch/organization.csv</path>
                <format>CSV</format>
            </file>
        </source>

        <!--字典类型  只有这个地方不一样-->
        <layout>
            <hashed/>
        </layout>

        <!--与数据结构对应-->
        <structure>
            <id>
                <name>id</name>
            </id>

            <attribute>
                <name>code</name>
                <type>String</type>
                <null_value></null_value>
            </attribute>

            <attribute>
                <name>name</name>
                <type>String</type>
                <null_value></null_value>
            </attribute>
        </structure>

        <lifetime>
            <min>300</min>
            <max>360</max>
        </lifetime>
    </dictionary>
</dictionaries>
2.2.3. range_hashed

在hashed字典的基础上增加了指定时间区间的特性，数据会以散列结构存储并按照时间排序。时间的区间通过range_min和range_max元素指定，所指定的字段必须是Date或者DateTime类型。

<?xml version="1.0"?>
<dictionaries>
    <dictionary>
        <name>test_range_hashed_dict</name>
        <!--数据源-->
        <source>
            <file>
                <path>/home/data/ch/sales.csv</path>
                <format>CSV</format>
            </file>
        </source>

        <!--字典类型  只有这个地方不一样-->
        <layout>
            <range_hashed/>
        </layout>

        <!--与数据结构对应-->
        <structure>
            <id>
                <name>id</name>
            </id>

            <range_min>
                <name>start</name>
                <!--如果 type 如果没有指定，则默认类型将使用-Date-->
            </range_min>

            <range_max>
                <name>end</name>
            </range_max>

            <attribute>
                <name>price</name>
                <type>Float32</type>
                <null_value></null_value>
            </attribute>
        </structure>

        <lifetime>
            <min>300</min>
            <max>360</max>
        </lifetime>
    </dictionary>
</dictionaries>
2.2.4. cache

在内存中会通过固定长度的向量数组保存，长度为2 的整数倍并会自动向上取整，并不会像其他字典查询一次后一次性全部直接加载到内存，而是命中一次加载一次，所以性能最不稳定，完全取决于命中率（缓存命中率=命中次数/查询次数）

2.2.5. complex_key_hashed

该类型的字典在功能上与hashed字典完全相同，只是将单个的数值的key替换成了复合型

<?xml version="1.0"?>
<dictionaries>
    <dictionary>
        <name>test_complex_hashed_dict</name>
        <!--数据源-->
        <source>
            <file>
                <path>/home/data/ch/organization.csv</path>
                <format>CSV</format>
            </file>
        </source>

        <!--字典类型  只有这个地方不一样-->
        <layout>
            <complex_key_hashed/>
        </layout>

        <!--与数据结构对应-->
        <structure>
            <key>
                <attribute>
                    <name>id</name>
                    <type>UInt64</type>
                </attribute>
                <attribute>
                    <name>code</name>
                    <type>String</type>
                </attribute>
            </key>

            <attribute>
                <name>name</name>
                <type>String</type>
                <null_value></null_value>
            </attribute>
        </structure>

        <lifetime>
            <min>300</min>
            <max>360</max>
        </lifetime>
    </dictionary>
</dictionaries>

查询方式如下：
在这里插入图片描述

2.2.6. complex_key_cache

在cache字典的基础上，将单数值的key替换为复合型。

2.2.7. ip_trie

专门用于IP前缀查询的场景，配置如下：

<?xml version="1.0"?>
<dictionaries>
    <dictionary>
        <name>test_ip_trie_dict</name>
        <!--数据源-->
        <source>
            <file>
                <path>/home/data/ch/asn.csv</path>
                <format>CSV</format>
            </file>
        </source>

        <!--字典类型-->
        <layout>
            <ip_trie/>
        </layout>

        <!--与数据结构对应-->
        <structure>
            <key>
                <attribute>
                    <name>prefix</name>
                    <type>String</type>
                </attribute>
            </key>

            <attribute>
                <name>asn</name>
                <type>String</type>
                <null_value></null_value>
            </attribute>

            <attribute>
                <name>country</name>
                <type>String</type>
                <null_value></null_value>
            </attribute>
        </structure>

        <lifetime>
            <min>300</min>
            <max>360</max>
        </lifetime>
    </dictionary>
</dictionaries>

在这里插入图片描述

2.2.8. 总结
名称存储结构字典键类型支持的数据源
flat数组UInt64Local file、Executable file、HTTP、DBMS
hashed散列UInt64Local file、Executable file、HTTP、DBMS
range_hashed散列按时间排序UInt64和时间Local file、Executable file、HTTP、DBMS
complex_key_hashed散列复合型keyLocal file、Executable file、HTTP、DBMS
ip_trie层次结构复合型key(单个String)Local file、Executable file、HTTP、DBMS
cache固定大小数组UInt64Executable file、HTTP、ClickHouse、MySQL
complex_key_cache固定大小数组复合型keyExecutable file、HTTP、ClickHouse、MySQL

2.3 数据源

qq_23016999
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
clickhouse 数据字典使用详解_clickhouse 字典(1)，2024年最新这可能是目前最全的
2401_84182428的博客
04-16 284
这意味着，ClickHouse目前的内置字典只是提供了定义机制和取数的函数，所以内置字典的现状较为尴尬，需要遵循它的规范自行导入数据，由于现实工作中使用场景很少，只做了解即可。正常情况下，字典中的数据只能通过字典函数访问（ClickHouse设置了一类字典函数，专门用于字典数据的取用）。外部扩展字典是以插件的形式注册到ClickHouse中，由用户自定义数据模式以及数据来源，目前扩展字典支持7种类型的内存布局和4类数据来源，性比内置字典，扩展字典才是更适合更多的业务场景。
Clickhouse---数据字典
weixin_38813363的博客
05-02 841
数据字典是Clickhouse提供的一种非常简单、实用的存储媒介，以键值和属性映射的形式定义数据。字典中的数据会主动或被动加载到内存，并支持动态更新。由于字典数据常驻内存的特性，所以非常适合保存常量或经常使用的维度表数据，避免不必要的JOIN查询。分为内置和扩展两种。 内置字典 Yandex.Metrica 只提供了字典的定义机制和取数函数 外部扩展字典 外部扩展字典是以插件的形式注册到Clickhouse中的，由用户自行定义数据模式及数据来源。目前扩展字典支持7种类型的内存布局和4类数据来源。 通过配置来
一文教你使用ClickHouse的字典(dictionary)
最新发布
ClickHouseDB的博客
09-05 1038
如何保持数据规范化有时可以带来更快的查询，尤其是使用字典时。
ClickHouse笔记.pdf
09-23
ClickHouse笔记，系统的描述了行式存储，列式存储，ClickHouse的优缺点，单击版搭建以及集群搭建。
Clickhouse 字典表使用场景
花&败
04-28 1446
一.字典创建和查询 1.创建表和数据： drop table t_region; create table t_region(region_id UInt64, parent_region UInt64, region_name String) ENGINE=TinyLog; insert into t_region values (1, 0, 'jiangsu'),(2, 1, 'suzhou'),(3, 2, 'huqiu'),(4, 0, 'anhui'),(5, 4, 'hefei');
ClickHouse数据字典（很详细）
Machine4869的博客
11-17 4586
数据字典 参考：《ClickHouse原理解析与应用实践》第5章、第8章8.4.2节 数据字典是clickhouse提供的一种简单 实用的存储媒介，以键值和属性映射的形式定义数据。字典中的数据会主动或被动加载到内存之中，并支持动态更新。由于字典数据常驻内存特特性，比较适合保存常量或者经常使用的维度表数据，以避免不必要的JOIN数据。 数据字典分为内置和扩展两种形式，内置数据字典是以clickhouse默认自带的字典；外部字典是通过用户自定义配置实现的字典。 在正常情况下，字典中的数据只能通过字典函数访问
Clickhouse 数据字典dictionary引擎
基咯咯
05-19 2690
1、概述 数据字典是clickhouse提供的一种简单 实用的存储媒介，以键值和属性映射的形式定义数据。字典中的数据会主动或被动加载到内存之中，并支持动态更新。由于字典数据常驻内存特性，比较适合保存常量或者经常使用的维度表数据，以避免不必要的JOIN数据。 数据字典分为内置和扩展两种形式，内置数据字典是以clickhouse默认自带的字典；外部字典是通过用户自定义配置实现的字典，也可以从不同源(ClickHouse，MySQL或通用的ODBC)中获取数据。 Clickhouse是外部数据字典来处理多维
ClickHouse数据字典
qq_41081716的博客
12-25 675
ClickHouse数据字典
python学习笔记——集合与字典
12-20
python学习笔记——集合与字典1. 集合的基本概念1.1 set(x)函数1.2 集合类型的10个操作函数2. 字典的基本概念2.1 字典的索引2.2 字典的操作2.3 字典小结 1. 集合的基本概念 集合类型和数学集合中的概念一致，即包含0...
数据结构学习笔记——单链表
12-21
链表（linked list）是一种在物理上非连续，非顺序的数据结构，由若干节点（node）组成 单链表每一个节点又包含两部分，1是存放数据的变量data，2是存放指向下一个结点的指针next 双向链表每一个节点包含三部分，在...
clickhouse各种表引擎的异同markdown笔记.zip
03-15
clickhouse各种表引擎的异同markdown笔记
dubbo笔记——项目实战
02-24
存在2个系统，A系统和B系统，A系统调用B系统的接口获取数据，用于查询用户列表。安装zookeeper，解压（zookeeper-3.4.8.tar.gz）得到如下：然后进入conf将zoo_sample.cfg改名成zoo.cfg。并相关如下内容：该目录为...
ClickHouse笔记
wbo
08-03 705
ClickHouse笔记 文章目录ClickHouse笔记第 1 章 ClickHouse 入门列式储存的好处：第 2 章 ClickHouse 的安装第 3 章 数据类型整型浮点型布尔型Decimal 型字符串枚举类型时间类型数组第 4 章 表引擎表引擎的使用TinyLogMemoryMergeTreepartition by 分区(可选)primary key 主键(可选)二级索引数据 TTLReplacingMergeTreeSummingMergeTree第 5 章 SQL 操作第 6 章 副本第
Clickhouse 学习笔记
十二的博客
07-08 693
ClickHouse简介 ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。 OLAP场景的关键特征 1.大多数是读请求 2.数据总是以相当大的批(> 1000 rows)进行写入 3.不修改已添加的数据 4.每次查询都从数据库中读取大量的行，但是同时又仅需要少量的列 5.宽表，即每个表包含着大量的列 6.较少的查询(通常每台服务器每秒数百个查询或更少) 7.对于简
ClickHouse学习笔记
qq_40691970的博客
11-22 2722
ClickHouse学习笔记
4.ClickHouse数据字典
style_boy的博客
01-18 1450
七、数据字典 数据字典是clickhouse提供的存储媒介，用键值和属性映射的形式定义数据。 数据字典常驻内存，适合保存常量或者经常使用的维度表数据（减少json查询） 数据字典分类：内置字典和扩展字典 7.1 内置字典 内置字典clickhouse默认自带的字典，目前只有一种：Yandex.Metrica字典，快速读取geo地理数据。 默认内置字典禁用状态。 开启方式config.xml <path_to_regions_hierarchy_file>/opt/geo/regions_hi
ClickHouse常用函数统计
热门推荐
思过留痕
10-16 5万+
1、统计类函数 1.1 分位数 90%分位数： quantile(0.9)() 在求（平均）响应时间时用到，quantile(0.9)(url_rt) 1.2 中位数 median() 还未使用到，median(url_rt) 1.3 相关系数 计算x与y的相关系数，计算公式：∑(x−x‾)(y−y‾)∑(x−x‾)2∑(y−y‾)2\dfrac{\sum(x-\overline{x})(y-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值