+ [2.2 elasticsearch特点](#22_elasticsearch_75)
1. clickhouse
1.1 clickhouse介绍
ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它是俄罗斯yandex公司于2016年开源的一个列式数据库管理系统,这里需要注意的是列式数据库,我们常用的数据库如:MySQL、Postgres和MS SQL Server都是行式数据库:
- 行式存储数据库:处于同一行中的数据总是被物理的存储在一起。
- 列式存储数据库:来自不同列的值被单独存储,来自同一列的数据被存储在一起。
这两种存储的方式适用不同的业务场景,没有绝对的谁比谁好,只是使用的场景有所不同,例如:进行了何种查询、多久查询一次以及各类查询的比例;每种类型的查询(行、列和字节)读取多少数据;读取数据和更新之间的关系;使用的数据集大小以及如何使用本地的数据集;是否使用事务,以及它们是如何进行隔离的;数据的复制机制与数据的完整性要求;每种类型的查询要求的延迟与吞吐量等等,根据用户使用的场景来选择。
前面说到,clickhouse适合OLAP的场景,下面列举一些OLAP场景的特征:
- 数据库的数据不能修改
- 绝大多数是读请求
- 没有更新或者大量更新
- 宽表
- 允许简单查询
- 事务不必须
- 数据一致性要求低
为什么列式存储更适合OLAP呢?我们简单来举例:
- 行式存储数据库获取某些列的数据绘制报表
在行式存储的数据库中,如果我们需要取出指定列的数据,你首先需要读取整行数据,然后从整行数据,然后再从读取的行数据中读取你需要的列数据。
- 列式存储数据库获取某些列的数据绘制报表
而在列式村存储中,你只需要读取存储列的一小部分数据即可,这这大大降低了I/O操作的消耗和体积。数据量越大,越能凸显出这种优势。
但clickhouse也有自己的缺点:
- 不支持事务(ACID)。
- 缺少高频率,低延迟的修改或删除已存在数据的能力。仅能用于批量删除或修改数据。
- 不擅长根据主键按行粒度查询。
1.2 clickhouse的特点
这个章节主要讲述clickhouse数据库的一些特点:
- 支持数据压缩,数据压缩可以达到更优异的性能。在一些列式数据库管理系统中(例如:InfiniDB CE 和 MonetDB) 并没有使用数据压缩。
- 数据存储硬盘:许多的列式数据库(如 SAP HANA, Google PowerDrill)只能在内存中工作,对设备要求高,而clickhouse是在磁盘上工作,成本低。
- 多核心并行处理:会使用服务器上一切可用的资源,从而以最自然的方式并行处理大型查询。
- 多服务器分布式处理:列式存储数据库中唯一份支持分布式查询的数据库。
- 支持SQL:入手快,许多情况下与ANSI SQL标准相同。
- 支持数据复制和数据完整性:使用异步的多主复制技术。当数据被写入任何一个可用副本后,系统会在后台将数据分发给其他副本,以保证系统在不同副本上保持相同的数据。
- 角色的访问控制
2. elasticsearch
2.1 elasticsearch介绍
Elasticsearch是一个实时分布式和开源的全文搜索和分析引擎。 它可以从RESTful Web服务接口访问,并使用模式少JSON(JavaScript对象符号)文档来存储数据。它是基于Java编程语言,这使Elasticsearch能够在不同的平台上运行。使用户能够以非常快的速度来搜索非常大的数据量。
Elasticsearch最初是用于做全文检索的场景,可多数时候是用来做精确查询加速,查询条件很多,可以任意组合,查询速度很快,替代其它很多数据库复杂条件查询的场景需求,现在es已经成为事实上的文档型数据库,使用Json格式来存储数据。
根据2022年2月份的数据es数据库排名第8。下面我们介绍一下es数据适用的场景:
- ES作为网站的主要后端系统:比如博客的数据直接在es上进行检索。
- 作为大数据分析的承载工具:数据进行hadoop生态处理后,可以输入es中数据库提供查询。
- 数据分析
- 机器学习
es和传统的数据库的概念有着对应关系:
关系型数据库 | ES |
---|---|
Table | Index(Type) |
Row | Document |
Column | Field |
Schema | Mapping |
SQL | DSL |
解释一下:es中的表称为索引、行称为文档、列称为域等。
2.2 elasticsearch特点
这里介绍一下es的特点,es作为NoSQL数据库代表之一,非常适合于非结构化文档类数据存储、更创新支持智能分词匹配模糊查询。特点如下:
- 分布式的文件存储,每个字段都被索引且可用于搜索。
- 分布式的实时分析搜索引擎,海量数据下近实时秒级响应。
- 简单的restful api,天生的兼容多语言开发。
- 易扩展,处理PB级结构化或非结构化数据。
3. clickhouse和elasticsearch对比
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新