入门ClickHouse和Elasticsearch

• hadoop专题: hadoop系列文章.
• spark专题: spark系列文章.
• flink专题: Flink系列文章.

⛄️处理大数据这一方面不只有hadoop这一脉、类似的像支持分布式的数据产品clickhouse和elasticsearch也都有自己的特点，在企业中运用也较多，本篇博客就是给它俩扫盲！

目录

• 1. clickhouse
• • 1.1 clickhouse介绍
    • 1.2 clickhouse的特点
• 2. elasticsearch
• • 2.1 elasticsearch介绍
    • 2.2 elasticsearch特点
• 3. clickhouse和elasticsearch对比
• • 3.1 两者的分布式架构
    • 3.2 存储架构
    • 3.3 查询架构
    • 3.4 总结
• 4. 参考文章

1. clickhouse

1.1 clickhouse介绍

ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它是俄罗斯yandex公司于2016年开源的一个列式数据库管理系统，这里需要注意的是列式数据库，我们常用的数据库如：MySQL、Postgres和MS SQL Server都是行式数据库：

• 行式存储数据库：处于同一行中的数据总是被物理的存储在一起。
• 列式存储数据库：来自不同列的值被单独存储，来自同一列的数据被存储在一起。

这两种存储的方式适用不同的业务场景，没有绝对的谁比谁好，只是使用的场景有所不同，例如：进行了何种查询、多久查询一次以及各类查询的比例；每种类型的查询(行、列和字节)读取多少数据；读取数据和更新之间的关系；使用的数据集大小以及如何使用本地的数据集；是否使用事务,以及它们是如何进行隔离的；数据的复制机制与数据的完整性要求；每种类型的查询要求的延迟与吞吐量等等，根据用户使用的场景来选择。

前面说到，clickhouse适合OLAP的场景，下面列举一些OLAP场景的特征：

• 数据库的数据不能修改
• 绝大多数是读请求
• 没有更新或者大量更新
• 宽表
• 允许简单查询
• 事务不必须
• 数据一致性要求低

为什么列式存储更适合OLAP呢？我们简单来举例：

1. 行式存储数据库获取某些列的数据绘制报表

在行式存储的数据库中，如果我们需要取出指定列的数据，你首先需要读取整行数据，然后从整行数据，然后再从读取的行数据中读取你需要的列数据。

2. 列式存储数据库获取某些列的数据绘制报表

而在列式村存储中，你只需要读取存储列的一小部分数据即可，这这大大降低了I/O操作的消耗和体积。数据量越大，越能凸显出这种优势。

但clickhouse也有自己的缺点：

• 不支持事务（ACID）。
• 缺少高频率，低延迟的修改或删除已存在数据的能力。仅能用于批量删除或修改数据。
• 不擅长根据主键按行粒度查询。

1.2 clickhouse的特点

这个章节主要讲述clickhouse数据库的一些特点：

• 支持数据压缩，数据压缩可以达到更优异的性能。在一些列式数据库管理系统中(例如：InfiniDB CE 和 MonetDB) 并没有使用数据压缩。
• 数据存储硬盘：许多的列式数据库(如 SAP HANA, Google PowerDrill)只能在内存中工作，对设备要求高，而clickhouse是在磁盘上工作，成本低。
• 多核心并行处理：会使用服务器上一切可用的资源，从而以最自然的方式并行处理大型查询。
• 多服务器分布式处理：列式存储数据库中唯一份支持分布式查询的数据库。
• 支持SQL：入手快，许多情况下与ANSI SQL标准相同。
• 支持数据复制和数据完整性：使用异步的多主复制技术。当数据被写入任何一个可用副本后，系统会在后台将数据分发给其他副本，以保证系统在不同副本上保持相同的数据。
• 角色的访问控制

2. elasticsearch

2.1 elasticsearch介绍

Elasticsearch是一个实时分布式和开源的全文搜索和分析引擎。 它可以从RESTful Web服务接口访问，并使用模式少JSON(JavaScript对象符号)文档来存储数据。它是基于Java编程语言，这使Elasticsearch能够在不同的平台上运行。使用户能够以非常快的速度来搜索非常大的数据量。

Elasticsearch最初是用于做全文检索的场景，可多数时候是用来做精确查询加速，查询条件很多，可以任意组合，查询速度很快，替代其它很多数据库复杂条件查询的场景需求，现在es已经成为事实上的文档型数据库，使用Json格式来存储数据。

根据2022年2月份的数据es数据库排名第8。下面我们介绍一下es数据适用的场景：

• ES作为网站的主要后端系统：比如博客的数据直接在es上进行检索。
• 作为大数据分析的承载工具：数据进行hadoop生态处理后，可以输入es中数据库提供查询。
• 数据分析
• 机器学习

es和传统的数据库的概念有着对应关系：

关系型数据库	ES
Table	Index(Type)
Row	Document
Column	Field
Schema	Mapping
SQL	DSL

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取