2024年【ES入门一：基础概念】(3)，2024年最新面试竟然被这31道大数据开发基础题难倒了

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

分片的概念其实很好理解，试想一下如果家里的书多到一个箱子放不下，是不是要找另外一个箱子来装，这些书好比就是海量的数据，一个机器放不下，就放到多个机器上来存储

一般来说，面对海量数据的时候，分布式系统可以通过增加机器数量来进行水平拓展。所以，系统需要将数据分成几个小块数据，并且尽量均匀的分配到各个机器上，然后通过某种策略找到对应数据所在的位置。分片是ES底层最基本的读写单元，分片是为了分割巨大的索引数据，让读写可以有多台机器来完成，从而提高系统的吞吐量

副本

为了保证数据可靠性，一般分布式系统都会对数据进行冗余备份，这个备份就是副本。**ES将数据副本分为主从2个类型：主分片+副分片。**在写入的过程中，先写入主分片，成功后再并发写副分片，在数据恢复时以主分片为主。多个副本除了可以保证数据可靠性，还有一个好处就是可以承担系统的读负载

可以在创建索引的时候，指定分片数量和副本数量：

数据层面上的基础概念

索引（相当于数据库表）

索引是一类相似文档的集合。ES将数据存储在一个或多个Index中，例如将用户数据存储到User Index中，而将订单数据存储到Order Index中。一个索引有一个或者多个分片，索引的数据会以某种方式分散到各个分片上去存储

如上图，索引有3个分片，主分片分别是P1、P2、P3，队友的副本分别是R1、R2、R3，仔细看主分片和其他副本分片不会同时分配在同一个节点上。这样是保证当一个节点的主分配下线时，其他节点上的从副本可以升级为主分配，保证数据的可靠性

Mapping （相当于建表语句）

Mapping定义了索引里面的文档到底有哪些字段 以及字段的类型，类似于数据库中表结构的定义。Mapping有2种作用：

• 定义索引中各个字段的名称和对应的类型
• 定义各个字段、倒排索引的相关设置，如使用什么分词器

需要注意的是，Mapping一旦定义完成后，已经定义的字段的类型是不能更改的

文档（相当于表记录）

我们往Es中写入的每一条数据都是一个文档，并且我们搜索也是以文档为单位的，所以文档是ES中的主要实体

我们在kibana或者postman中测试插入一条书本记录：

然后在查一下这条记录：

顺便解释一下返回的字段含义：

• _index：文档所属的索引名字，也就是books
• _type：文档所属的类型名称，现在ES7.x统一为_doc
• _id： 文档的唯一id。如果我们插入时不指定文档id，es会随机分配，这里有利于数据均匀分散到各个分片
• _version：文档的版本信息，并发读写时可以解决文档冲突
• _score：相关性算法，代表查询的匹配性
• _seq_no和_primary_term：es内部用来保证主分片和副本数据一致性的，后面的章节中我们会进行介绍**。当一个index每次选择主分配后都会有一个序号，记为_primary_term，它是递增的。在同一个index下，每次写入数据后都会有一个写入顺序号，记为_seq_no, 它也是递增的。_primary_term 和 _seq_no 在逻辑上构成了一个文档写入的唯一位置。**

字段（相当于表字段）

每个文档都有一个或者多个字段，例如books索引指定了书本有2个字段book_id和name两个字段，其实就是Json中的key，常见的类型有keyword、text、数字类型（integer、long、float、double等）、对象存储

• keyword：适合存储简短、结构化的字符串，比如产品名称、产品id
• text适合存储全文本数据，比如：文件内容、短信内容

下面是一个简单的示例：

词项

将全文本的内容进行分词后得到的词语就是词项了。例如“programmmers love cat”使用标准分词器后得到【programmmer、love、cat】这3个词项。需要注意的是：分词器除了进行分词外还会进行大小写转换、去复数等操作

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

8)**

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！