第一章 ClickHouse专题之产生背&设计要点

最新推荐文章于 2024-04-30 15:03:06 发布
最新推荐文章于 2024-04-30 15:03:06 发布
阅读量463 收藏 1
点赞数
分类专栏： # Hbase专题 文章标签： big data hadoop hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27924553/article/details/124842040
版权

1、业务背景

1.1、典型需求

  • 业务需求：用户轨迹行为分析

  • 离线架构：日志文件+数据采集组件+kafka+ETL+hIVE+报表工具。

在这里插入图片描述

  • 架构分析：
    • 1.数据时效性低：中间过程经过Kafka、ETL、调度处理，报表的时效性不理想；
    • 2.即席分析性能低：HIve存储是hdfs文件系统，查询效率不高，不适合即席查询；
    • 3.涉及到Hadoop组件多：涉及到Flume、Kafka、HDFS等，数据冗余过多，技术知识储备身后；
    • 4.数据链路长：数据链路处理流程长，繁琐容错也不好。
1.2、典型需求分析优化
  • 架构目标：
    • 1.海量数据
    • 2.实时导入
    • 3.实时查询
    • 4.多维聚合分析
  • 选型分析 - 即席查询
    • 少量数据：单机程序
    • 中级数据：ES、Mysql分库分表
    • 海量数据：Druid、Kylin、Doris、ClickHouse、Kudu等

2、OLAP概述

  • OLAP+OLTP====》难以同时满足
2.1、OLAP介绍

（1）OLTP

  • Transaction：事务处理，侧重于增删改，一般都是写模式

  • 代表：Mysql、Oracle等

（2）OLAP

  • Analysis：分析，大批量数据的聚合查询，一般都是读模式
  • 代表：Hive、ClickHouse

（3）读 & 写模式区别

  • 写模式：数据插入进来会做校验，如果满足要求则插入，不满足则拒绝
  • 读模式：数据读取进来会做校验，如果满足要求则读取，不满足则报错

（4）海量数据做查询分析高效率

  • 列式数据库：便于字段查询
  • 写模式：每一列数据格式在数据写入时进行校验，保证同一列的数据类型是一样的，便于用连续内存方式进行存储，解析和压缩比较性能高。
  • 排序：排序，可便于生成索引做高效的查询分析。
2.2、OLAP场景特征

（1）读多于写

​ 数据一次性写入后，不断多数据做多种ETL处理、数仓模型建设、数据挖掘等相关，其中数据读取的次数远大于写入次数。这就要求底层数据库为这个特点做专门设计，而不是盲目采用传统数据库的技术架构。

在这里插入图片描述

（2）大宽表，读大量数据但是少量列，结果集比较小

​ 通常存在一张或是几张多列的大宽表，列数高达数百甚至数千列。

​ 对数据进行分析处理时，选择其中的少数几列作为维度列、其他少数几列作为指标列，然后对全表或某一个较大范围内的数据做聚合处理。这个过程会扫描大量的行数据，但是只会用到了其中的少数列。

select department,count(id) as total from student group by department;

（3）数据批量写入，且数据不更新或少更新

​ OLTP类业务对于延时要求高，要避免让客户等待造成业务损失；

​ OLAP类业务，由于数据量非常大，通常更加关注写入吞吐，要求海量数据能够尽快导入完成，一旦导入完成历史数据将作为存档，不会再做更新、删除操作。

  • mysql：Insert、Update、Delete，一般作为Source
  • Clickhouse：单条记录的增删改，批量导入导出多

（4）无需事务，数据一致性要求低

​ OLAP类业务对于事务需求较少，通常导入历史日志数据，或搭配一款事务型数据库进行数据同步，多数OLAP系统都支持最终一致性。

（5）灵活多变，不适合预先建模

​ 预建模技术无法满足业务灵活多变的发展需求，维护成本过高。

2.3、常见数据库及业务场景
序号数据库名称说明
1Mysql少量结构化数据的针对单条记录的增删改查
2Hbase针对海量数据的Key-Value的增删改查
3Redis基于内存的针对Key-value类型增删改查，热数据的缓存
4mongodb文档数据库
5elasticsearch针对文件做全文检索（倒排索引）

3、列式数据库

3.1、行式存储 VS 列式存储
  • 行式存储：一行数据接着一行数据做存储，一行数据中的多个字段的值都是物理相邻的。
  • 列式存储：一列数据单独存储，多行数据的相同列的值在物理存储上是相邻的。

在这里插入图片描述

  • 行式存储：逐行扫描库表文件
  • 列式存储：逐列扫描库表文件

在这里插入图片描述

3.2、列式存储特性

（1）读取扫描数据量少

​ 列式存储模式下，只读取参与计算的列即可，极大的减低了IO cost，加速了查询

（2）高压缩比

​ 同一列的数据属于同一个类型，压缩效果显著。列存往往有着高达十倍甚至更高的压缩比，节省了大量的存储空间，减低了存储成本。

（3）读取时间少

​ 更高的压缩比意味着更小的data size，从磁盘中读取相应耗时更短。

4、ClickHouse概述

4.1、ClickHouse基础介绍

（1）适用场景

  • 1、Web和App数据分析
  • 2、广告网络和RTB
  • 3、电信
  • 4、电子商务和金融
  • 5、信息安全
  • 6、监测和遥测
  • 7、时序数据
  • 8、商业智能
  • 9、在线游戏
  • 10、物联网

（2）不适用场景

  • 1、事物性工作（OLTP）
  • 2、高并发的键值访问
  • 3、Blob或者文档存储
  • 4、超标准化的数据

（3）优点

①真正的面向列的 DBMS

ClickHouse 作为一个被设计用来在实时分析的 OLAP 组件，只是在高效率的分析方面性能发挥到极 致，那必然就会在其他方面做出取舍： ClickHouse 是一个 DBMS，而不是一个单一的数据库。它允许在运行时创建表和数据库、加载数据和运行 查询，而无需重新配置和重新启动服务器。

②数据压缩

一些面向列的 DBMS（InfiniDB CE 和 MonetDB）不使用数据压缩。但是，数据压缩确实提高了性能。

③磁盘存储的数据

许多面向列的 DBMS（SAP HANA 和 GooglePowerDrill）只能在内存中工作。但即使在数千台服务器 上，内存也太小，无法在 Yandex.Metrica 中存储所有浏览量和会话。

④多核并行处理

多核多节点并行化大型查询。

⑤在多个服务器上分布式处理

在 ClickHouse 中，数据可以驻留在不同的分片上。每个分片都可以用于容错的一组副本，查询会在所有分 片上并行处理。

⑥SQL支持

ClickHouse SQL 跟真正的 SQL 有不一样的函数名称。不过语法基本跟 SQL 语法兼容，支持 JOIN、 FROM、IN 和 JOIN 子句以及标量子查询支持子查询。

⑦向量化引擎

数据不仅按列存储，而且由矢量 - 列的部分进行处理，这使开发者能够实现高 CPU 性能。

⑧实时数据更新

ClickHouse 支持主键表。为了快速执行对主键范围的查询，数据使用合并树 (MergeTree) 进行递增排 序。由于这个原因，数据可以不断地添加到表中。

⑨支持近似计算

（很多组件不具备的）统计全中国到底有多少人？1434567654 14.3E PV 近似计算UV 具体的值 该库支持为有限数量的随机密钥（而不是所有密钥）运行聚合。在数据中密钥分发的特定条件下，这提供了相 对准确的结果，同时使用较少的资源。

⑩数据复制和对数据完整性的支持。

ClickHouse 使用异步多主复制。写入任何可用的副本后，数据将分发到所有剩余的副本。系统在不同的副 本上保持相同的数据。数据在失败后自动恢复。 扩展成为分布式的数据库OLAP引擎，严重依赖于zookeeper 。

4.2、ClickHouse单机安装

（1）安装前准备

  • CentOS7打开文件数限制
#在 /etc/security/limits.conf 这个文件的末尾加入一下内容:
sudo vim /etc/security/limits.conf

* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

#在 /etc/security/limits.d/90-nproc.conf 这个文件的末尾加入一下内容:
vim /etc/security/limits.d/90-nproc.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

#重启服务器之后生效，用 ulimit -n 或者 ulimit -a 查看设置结果
ulimit -n 
ulimit -a
  • CentOS7取消SELINUX
#修改 /etc/selinux/config 中的 SELINUX=disabled 后重启
vim /etc/selinux/config

SELINUX=disabled
  • 关闭防火墙
systemctl status firewalld.service 
systemctl stop firewalld.service 
systemctl start firewalld.service
  • 安装依赖
yum install -y libtool 
yum install -y *unixODBC*

（2）单机模式安装

​ ClickHouse的安装可以使用 yum在线安装，也可以使用 rpm 离线安装的方式! 具体信息见官网文档:https://clickhouse.tech/#quick-start

  • 准备操作
grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"
  • 下载安装包
#下载地址:https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/
clickhouse-server.noarch.rpm 
clickhouse-common-static.rpm 
clickhouse-client.noarch.rpm

在这里插入图片描述

  • 安装
rpm -ivh clickhouse-common-static-20.9.2.20-2.x86_64.rpm
rpm -ivh clickhouse-common-static-dbg-20.9.2.20-2.x86_64.rpm
rpm -ivh clickhouse-server-20.9.2.20-2.x86_64.rpm
rpm -ivh clickhouse-client-20.9.2.20-2.x86_64.rpm
  • 启动服务端
#前台启动
clickhouse-server --config-file=/etc/clickhouse-server/config.xml

#后台启动
nohup clickhouse-server --config-file=/etc/clickhouse-server/config.xml 1>~/logs/clickhouse_std.log 2>~/logs/clickhouse_err.log &

在这里插入图片描述

  • 启动客户端
clickhouse-client
或者:
TZ=Asia/Shanghai clickhouse-client

在这里插入图片描述

  • 基本使用
#1、创建库
create database test;

#2、切换库
use test;

#3、创建表
create table test01(id Int8, name String) engine = TinyLog;

#4、查询表列表
show tables;

在这里插入图片描述

  • 安装成功的核心目录

Ⅰ、/etc/clickhouse-server

​ 服务端的配置文件目录，包括全局配置config.xml和用户配置users.xml 等。
Ⅱ、/var/lib/clickhouse**

​ 默认数据存储目录，通常会修改默认路径配置，将数据保存到大容量磁盘挂 载路径
Ⅲ、/var/log/clickhouse-server

​ 默认日志保存目录，通常会修改路径配置将日志保存到大容量磁盘 挂载的路径

  • 可执行文件

Ⅰ、clickhouse：主程序的可执行文件。
Ⅱ、clickhouse-client：一个指向ClickHouse可执行文件的软链接，供客户端连接使用。
Ⅲ、clickhouse-server：一个指向ClickHouse可执行文件的软链接，供服务端启动使用。
Ⅳ、clickhouse-compressor；内置提供的压缩工具，可用于数据的正压反解。

附录：离散知识点

1、client连接拒绝

（1）报错

Connecting to localhost:9000 as user default.
Code: 210. DB::NetException: Connection refused (localhost:9000)

（2）解决方案

#systemctl启动
[root@tcloud ~]# systemctl start clickhouse-server.service
[root@tcloud ~]# systemctl status clickhouse-server.service

在这里插入图片描述

随缘清风殇
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
ClickHouse分布式表Distributed实操
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
07-17 3238
ClickHouse分布式表Distributed实操
设计 ClickHouse 表结构 -NineData
02-23
NineData 提供可视化表结构设计方案，支持设计 ClickHouse 表结构，您可以在 SQL 窗口中点击鼠标完成表结构的设计，无需再手动输入 SQL 命令。前提条件：数据源类型为 ClickHouse；组织模式下，拥有 SQL 窗口功能...
Clickhouse从单节点到集群搭建详解以及分布式分表设计,mysql整表同步,表主键去重以及脚本增删改查,以及可视化工具DBeaver推荐详解
Cocktail_py的博客
04-29 1816
一.背景 参考:ClickHouse高性能分布式分析数据库 二.分布式设计 原始数据表A:a服务器 分表B1:a服务器 分表B2:b服务器 分表B3:c服务器 分布式表C:a服务器 三.搭建 1.单节点搭建 #使用脚本安装yum源 curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm...
第二章 ClickHouse架构设计
倚楼听风雨
08-09 1076
ClickHouse架构概述
clickHouse本地表设计
qq_23827347的博客
02-19 343
clickHouse本地表设计
ClickHouse为何那么快？逻辑数据模型/物理存储模型/核心特性/不足
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
02-26 1839
ClickHouse 架构 集群架构 ClickHouse 采用典型的分组式的分布式架构，具体集群架构如上图所示： Shard：集群内划分为多个分片或分组（Shard 0 … Shard N），通过 Shard 的线性扩展能力，支持海量数据的分布式存储计算。 Node：每个 Shard 内包含一定数量的节点（Node，即进程），同一 Shard 内的节点互为副本，保障数据可靠。ClickHouse 中副本数可按需建设，且逻辑上不同 Shard 内的副本数可不同。 ZooKe
【基础篇】ClickHouse 表结构设计
日拱一卒无有尽，功不唐捐终入海
09-17 675
ClickHouse是一种面向列的数据库管理系统（DBMS），用于在线分析处理（OLAP）。在ClickHouse中，我们也可以看到分区和分片的概念。在ClickHouse中，分区是最大的数据组织单位。每个分区都包含表的一部分数据。你可以为每个月、每天或任何其他适合的时间段设置分区。ClickHouse允许按照自定义表达式（通常是日期或时间）进行表分区。这样可以优化数据处理和查询，以及进行数据清理操作，例如，你可以删除整个分区来删除旧的数据。分片在ClickHouse中是非常重要的概念。
ClickHouse表引擎详解看这篇就够了-基本讲解、处理逻辑、测试实例
weixin_43805705的博客
01-03 2011
表引擎在 ClickHouse 中的作用十分关键，直接决定了数据如何存储和读取、是否支持并发读写、是否支持 index、支持的 query 种类、是否支持主备复制等。 ClickHouse表引擎一共分为四个系列，分别是Log、MergeTree、Integration、Special。其中包含了两种特殊的表引擎Replicated、Distributed，功能上与其他表引擎正交，根据场景组合使用。
ClickHouse建表
热门推荐
一条大河
03-26 1万+
建库： SQL： CREATE DATABASE DB_NAME ； eg： CREATE DATABASE message; 说明： CH支持Ordinary， Dictionary, Memory,Lazy， MySQL 等引擎，一般不需要明确执行，默认即可； 表引擎： CH支持多种表引擎，最常用的是MergeTree 常用的表引擎是MergeTree， 并且只有MergeTree才支持主键索引、数据分区、数据副本、ALTER操作等； 建表： CREATE TABLE...
ClickHouse笔记——ClickHouse架构
qq_68816299的博客
04-24 678
(4) Table，在数据表的底层设计中没有Table对象，它直接使用了IStorage接口指代数据表，不同的表引擎由不同的子类实现(IStorageSystemOneBlock系统表，StorageMergeTree合并树引擎，StorageTinyLog日志表引擎)，在数据查询的时候，IStorage负责根据AST查询语句的指示要求，返回指定列的原始数据，后续对数据的进一步加工，计算，过滤，则会统一交由Interpreter解释器对象处理。对于非常量，使用了CPU的向量化执行SIMD，暴力优化；
Clickhouse 入门（一篇就够了）
阿甘兄
12-01 380
Clickhouse快速入门
ClickHouse性能之巅：从架构设计解读性能之谜.docx
09-13
ClickHouse性能之巅：从架构设计解读性能之谜.docx
大数据技术之ClickHouse视频教程
07-08
ClickHouse是一个真正面向列的DBMS，采用列式存储，提供超高压缩比的压缩算法，轻松存储海量数据。多样化的引擎方案、类LSM Tree的结构、极致的并行处理能力，可以为用户提供高吞吐实时数据处理，其单表查询能力更是...
clickhouse-cli:Clickhouse DBMS服务器的第三方客户端
04-29
clickhouse-cli DBMS的非官方命令行客户端。 它实现了一些普通的和令人敬畏的事情，例如： 自动完成（正在进行中） 查询和数据输出的语法高亮显示（Pretty *格式） 默认情况下，多查询和多行模式-粘贴任意数量的...
大数据资料之ClickHouse.pdf
11-11
ClickHouse概述、安装、数据类型、表引擎、SQL语法。相对比较简洁汇总的一个文档，适合于入门学习整理。
C# wpf 运行时替换方法实现mvvm自动触发刷新
codeofcc的博客
04-29 1041
我们知道，使用wpf的绑定功能，代码触发界面改变时，需要在属性的setter触发PropertyChanged事件，以达到界面刷新的效果。上一章我们简化了触发流程，但是依然需要在每个属性的setter中调用方法。本章将再进一步简化，实现setter不需要调方法就可以自动触发界面刷新。定义的用于替换属性setter的方法，确保参数类型兼容。设置NoInlining确保不会被内联优化失去函数地址。再方法中触发RaisePropertyChangedEvent。
Hadoop概述
早拾碗吧的博客
04-29 1610
Hadoop 是一种分析和处理大数据的软件平台，是一个用 Java 语言实现的 Apache 的开源软件框架，在大量计算机组成的集群中实现了对海量数据的分布式计算。Hadoop 采用 MapReduce 分布式计算框架，根据 GFS 原理开发了 HDFS（分布式文件系统），并根据 BigTable 原理开发了 HBase 数据存储系统。Hadoop 和 Google 内部使用的分布式计算系统原理相同，其开源特性使其成为分布式计算系统的事实上的国际标准。
Hadoop+Spark大数据技术（微课版）曾国荪、曹洁版 第七章 Spark RDD编程实验
qq_64684039的博客
04-30 435
注意：需要先在hadoop分布式文件系统中创建文件1.先在本地文件系统创建data.txt文件2.启动hadoop分布式文件系统3.上传本地文件data.txt到hadoop分布式文件系统查看分布式文件系统中是否存在data.txt。
Centos7+Hadoop3.3.4+KDC1.15+Ranger2.4.0集成
最新发布
snipercai的博客
04-30 932
Centos7+Hadoop3.3.4+KDC1.15+Ranger2.4.0集成
clickhouse，分组查询每一种分组的第一条数据
09-11
您好，针对您的问题，可以使用ClickHouse的"Group by"语句结合"First"函数来实现查询每一种分组的第一条数据。示例如下： ``` SELECT first(column1) as first_column1, first(column2) as first_column2, ......

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

随缘清风殇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值