11.ClickHouse系列之亿级数据清洗实践

已于 2024-06-23 14:03:19 修改
阅读量380 收藏
点赞数
分类专栏： 大数据 精选实践 文章标签： clickhouse 数据库 java
于 2023-04-24 20:52:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SJshenjian/article/details/130351849
版权
本文介绍了在ClickHouse中进行亿级数据清洗的过程，包括背景需求，采用ReplaceMergeTree引擎创建表，快速导入数据，通过规则匹配更新省份城市区域信息，并最终将清洗后的数据导入新表。
摘要由CSDN通过智能技术生成

1. 背景需求

假设我们目前造了1亿条注册地址，我们需要根据注册地址尽可能解析出省份城市区域信息，并且剔除掉注册地址中的省份城市区域信息
数据存储格式为csv,约20G

清洗后效果

2. 解决思路

2.1 创建表，引擎采用ReplaceMergeTree

之所以采用ReplaceMergeTree，是因为它可以根据排序键合并旧数据，非常适合，如果我们采用其他引擎，呢么解析出省份直接update字段的话比较重，在ClickHouse中select * from system.mutations where is_done=0;会看到很多待执行的更新，ClickHouse对操作比较重的内容记录在system.mutations中

算法小生Đ
关注
专栏目录
Clickhouse 以太坊分析:基础交易数据清洗
WongSSH的博客
01-21 735
1. 环境搭建。讨论在服务器内安装 `Clickhouse` 可能会遇到的问题并在个人计算机上安装客户端。 2. 数据导入。使用纯粹的 SQL 代码导入数据，此处会涉及到使用 `Clickhouse` 进行 JSON 处理的内容。 3. 数据分析。完成一些基础的数据分析任务，这并不是本文的核心。
记录一下亿级别数据入库clickhouse
weixin_42329623的博客
12-28 1278
clickhouse清洗亿级别历史数据总结
如何高效处理亿级海量数据-Clickhouse速通（上）
最新发布
simulate_create的博客
08-07 2213
其实原因也很简单，Clickhouse的创始公司，Yandex，是俄罗斯最大的搜索引擎，其处理的数据也必然都是互联网的数据，我们面对的数据本质上是相同的。这里展示了存储了一天的数据量。SETTINGS index_granularity = 16384 这个是参考了Cloudflare的方案，因为日志量大集中，用较大的粒度可以更好的利用存储和提高压缩比，计算也更快。带来的第一个特性就是压缩特性，因为同一列的数据通常是相似的，因此相比行它们具有更高的压缩比，所以列数据库可以很方便的利用压缩减少存储占用。
ClickHouse磁盘清理
tianjinsong的专栏
11-08 8461
--查询本机整个数据库所有表总共的情况 SELECT table, sum(rows) / 2, formatReadableSize(sum(bytes_on_disk)) AS size FROM system.parts WHERE database = 'system' GROUP BY table ORDER BY size ASC; select event_date,count(*) c from system.query_thread_log where event_date<.
使用hangout将Kafka数据实时清洗写入ClickHouse
linyuxb123的博客
01-13 2218
https://blog.csdn.net/huochen1994/article/details/78771379 &lt;/div&gt; &lt;div id="content_views" class="markdown_view...
clickhouse数据库磁盘空间使用率过高问题排查
JAVA领域优质创作者，基于分片网络查询方法专利发明者。
12-06 2422
clickhouse天天触发磁盘使用率过高告警，所以需要进行排查，故将排查记录一下。
ClickHouse的数据质量控制
AI天才研究院
01-25 679
1.背景介绍 1. 背景介绍 ClickHouse是一个高性能的列式数据库，主要用于实时数据处理和分析。在大数据场景下，数据质量控制是非常重要的。数据质量问题可能导致数据分析结果的不准确，进而影响企业的决策。因此，了解ClickHouse的数据质量控制方法和技巧非常重要。 在本文中，我们将从以下几个方面进行阐述： 核心概念与联系 核心算法原理和具体操作步骤 数学模型公式详细讲解 具体最佳...
logstash-7.12.0-output-clickhouse.rar
04-30
输入插件负责接收数据，过滤插件用于清洗、解析或转换数据，而输出插件则将处理后的数据发送到指定的目标。 二、Clickhouse介绍 Clickhouse是一款开源的列式数据库管理系统（Column-Oriented DBMS），设计目标是...
基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库课程
10-26
在构建实时数据仓库的过程中，Flink、FlinkCDC、FlinkSQL和Clickhouse这四个关键技术起着至关重要的作用。本文将深入探讨这些技术，并结合2022年新课中的内容，详细介绍如何利用它们构建高效的实时数据处理系统。 ...
大数据系列2020-clickhouse资料汇总.zip
04-28
2. **ClickHouse万亿数据双中心的设计与实践**： 这个主题可能会讨论在处理万亿级别数据时，如何构建高可用的双中心架构。这可能涉及到数据复制、故障切换、数据一致性保证以及跨数据中心的数据同步策略。 3. **...
clickhouse-mysql-spark.zip
12-17
2. 对数据进行预处理，清洗、转换，以满足ClickHouse的表结构和数据类型要求。 3. 将处理后的数据写入ClickHouse，可以使用JDBC驱动或者ClickHouse提供的Spark连接器，如`spark-clickhouse-connector`。 4. 考虑到...
clickhouse清理日志。
b625846910的博客
02-06 1118
round((sum(data_compressed_bytes) / sum(data_uncompressed_bytes)) * 100, 0) AS `压缩率`,formatReadableSize(sum(data_uncompressed_bytes)) AS `原始大小`,formatReadableSize(sum(data_compressed_bytes)) AS `压缩大小`,sum(rows) AS `总行数`,`table` AS `表名`
Clickhouse：日志表占用大量磁盘空间怎么办？
啃编程
05-19 6209
背景 clickhouse有很多系统表(参见https://clickhouse.com/docs/en/operations/system-tables），其中一些用来存储日志，比如query_log、query_thread_log、trace_log。默认情况下，ClickHouse不清理日志，因此随着时间推移，这些表会占用大量磁盘空间，有导致系统宕机的风险。 查看日志表的大小 可以通过system.parts查看各个表的大小。 SELECT sum(rows) AS `总行数
clickhouse为何删除完数据系统磁盘空间没有恢复
qq_34779869的博客
12-27 2661
当我们把存储在clickhouse中的数据全部清除后，为何磁盘空间没有恢复最初状态呢？其实有一点，我们忽略了，当磁盘存储或查询，本身运行都会存在一些日志，而数据清除了，但是日志却还在，因为clickhosue日志文件默认是不会自动清理的，所以我们需要我们针对日志文件的存储做单独的策略配置，常用的方法就是给日志文件加TTL。
clickhouse如何解决log日志文件打满内存问题
梦想月入百万的博客
12-21 2379
Code: 243, e.displayText() = DB::Exception: Cannot reserve 1.00 MiB, not enough space (version 21.7.7.47 (official build))
clickhouse数据库删除数据的五种方式
热门推荐
ma286388309的博客
02-09 3万+
clickhouse数据库清理数据的方式很多，每种方式都各有自己的优缺点，请根据实际需要采用适合自己的方式，下面逐一介绍。方法三、五将清理全部数据，请确保数据安全，根据实际场景谨慎应用。
clickhouse的ReplacingMergeTree引擎实战
zhangsir的博客
12-16 1万+
学习ReplacingMergeTree引擎，首先你得了解clickhouse的MergeTree引擎，因为MergeTree引擎是MergeTree引擎的一个扩展版引擎，他拥有和MergeTree一样的功能，同时新增了一个删除相同主键数据的功能。 我们知道，clickhouse的MergeTree引擎，是clickhouse众多引擎中，号称性能最好的一个引擎，但他只能按照分区删除数据，所以有些场...
clickhouse中replacingMergeTree
weixin_51473488的博客
08-28 1013
replaceMergeTree
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

算法小生Đ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值