目录
ElasticSearch
ES:是一个基于Lucene框架的搜索引擎产品。 you know for search。提供了Restful风格的操作接口。ELK。Lucene:是一个非常高效的全文检索引擎框架。java jar
ES的一些核心概念:
1、索引index :关系型数据库中的table
2、文档document : row
3、字段field text\keyword\byte: 列
4、映射Mapping : Schema.
5、查询方式DSL : SQL ES的新版本也支持SQL
6、分片sharding和副本replicas: index都是由sharding组成的。 每个sharding都有一个或多个备份。ES集群健康状态。
ES的使用场景：ES可以用在大数据量的搜索场景下，另外ES也有很强大的计算能力。用户画像
全文检索：
- 通过一个程序扫描文本中的每一个单词， 针对单词建立索引，并保存该单词在文本中的位置、以及出现的次数
- 用户查询时，通过之前建立好的索引来查询，将索引中单词对应的文本位置、出现的次数返回给用户，因为有了具体文本的位置，所以就可以将具体内容读取出来了
倒排索引
索引就类似于目录，平时我们使用的都是索引，都是通过主键定位到某条数据，那么倒排索引呢，刚好相反，数据对应到主键。这里以一个博客文章的内容为例:
1.索引
| 文章ID | 文章标题 | 文章内容 |
| 1 | 浅析JAVA设计模式 | JAVA设计模式是每一个JAVA程序员都应该掌握的进阶知识 |
| 2 | JAVA多线程设计模式 | JAVA多线程与设计模式结合 |
2.倒排索引
假如，我们有一个站内搜索的功能，通过某个关键词来搜索相关的文章，那么这个关键词可能出现在标题中，也可能出现在文章内容中，那我们将会在创建或修改文章的时候，建立一个关键词与文章的对应关系表，这种，我们可以称之为倒排索引，因此倒排索引，也可称之为反向索引.如:
| 关键字 | 文章ID |
| JAVA | 1 |
| 设计模式 | 1.2 |
| 多线程 | 2 |
注：这里设计中文分词的问题
找到索引后还是要到元数据请求符合查询的数据进行返回的。
ElasticSearch中的核心及概念
1、索index
一个索引就是一个拥有几分相似特征的文档的集合。比如说，可以有一 个客户数据的索引，另-个产品日录的索引还有一个订单数抵的索引一个索引由一个名字来标识(必须全部是小写字母的)，并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，部要使用到这个名字
"index":true,"store":true 代表建立索引，进行存储，如果建立索引了却不进行存储，则检索到的则是null，是为了做检索而不展示（能查询到，但不必显示如商品的具体内容）
2、映射mapping
ElasticSearch中的映射(Mapping)用来定义一个文档
mapping是处理数据的方式和规则方面做一些限制， 如某个字段的数据类型、默认值、分词器、是否被索引等等，这些都是映射里面可以设置的
3、字段Field
相当于是数据表的字段/列
4、字段类型Type
每一个字段都应该有-个对应的类型，例如: Text（进行分词）、 Keyword（不对该字段进行分词）、Byte等
5、文档document
一个文档是一个可被索引的基础信息单元，类似一条记录。文档以JSON (Javascr ipt object Notation) 格式来表示
6、集群cluster
一个集群就是由一个或多个节点组织在一起， 它们共同持有整个的数据，并-起提供索 引和搜索功能
7、节点node .
一个节点是集群中的一个服务器，作为集群的一部分，它存储数据，参与集群的索引和搜索功能
一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到-个叫做“elasticsearch" 的集群中这意味着，如果在网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做"elasticsearch" 的集群中在一个集群里，可以拥有任意多个节点。而且，如果当前网络中没有运行任何Elasticsearch节点，这时启动一个节点，会默认创建并加入一个叫做"elasticsearch" 的集群。
8、分片和副本shards&replicas
分片：
●一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任-节点都没有这样大的磁盘空间;或者单个节点处理搜索请求，响应太慢
●为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，这些份就叫做分片
●当创建-个索引的时候，可以指定你想要的分片的数量
●每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上
●分片很重要，主要有两方面的原因
允许水平分割/扩展你的内容容量
允许在分片之上进行分布式的、并行的操作，进而提高性能/吞吐量
●至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由Elasticsearch管理的， 对于作为用户来说，这些都是透明的
副本：
●在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，Elasticsearch允许你创建分片的一份或多份拷贝，这些拷贝叫做副本分片，或者直接叫副本
●副本之所以重要，有两个主要原因
1)在分片/节点失败的情况下， 提供了高可用性。注意到复制分片从不与原/主要(original/pr imary)分片置于同一节点上是非常重要的
2)扩 展搜索量/吞吐量，因为搜索可以在所有的副本上并行运行，每个索引可以被分成多个分片。一个索引有0个或者多个副本，一旦设置了副本，每个索引就有了主分片和副本分片，分片和副本的数量可以在索引创建的时候指定，在索引创建之后，可以在任何时候动态地改变副本的数量，但是不能改变分片的数量
文档映射
ES中映射可以分为动态映射和静态映射
动态映射:
在关系数据库中，需要事先创建数据库，然后在该数据库下创建数据表，并创建表字段、类型、长度、主键等，最后才能基于表插入数据。而Elasticsearch中不需要定义Mapping映射(即关系型数据库的表、字段等)，在文档写入Elasticsearch时， 会根据文档字段自动识别类型，这种机制称之为动态映射。如：小数自动映射为float类型
静态映射：
静态映射是在Elasticsearch中也可以事先定义好映射，包含文档的各字段类型、分词器等，这种方式称之为静态映射。
ES写入和查询的工作原理
写：
1、客户端发写数据的请求时，可以发往任意节点。这个节点就会成为coordinating node协调节点。
2、计算得到文档要写入的分片:计算时就根据文档id采用hash取模的方式来计算，得出路由。
3、协调节点就会进行路由，将请求转发给对应的primary sharding所在的datanode.
4、datanode节点上的primary sharding处理请求，写入数据到索引库，并且将数据同步到对应的replica sharding
5、等primary sharding和replica sharding都保存好文档了之后，返回客户端响应。
读：
1、客户端发请求可发给任意节点，这个节点就成为协调节点
2、协调节点将查询请求广播到每一个数据节点， 这些数据节点的分片就会处理改查询请求。
3、每个分片进行数据查询，将符合条件的数据放在一个队列当中， 并将这些数据的文档ID、节点信息分片信息都返回给协调节点。
4、由协调节点将所有的结果进行汇总，并排序。
5、协调节点向包含这些文档ID的分片发送get请求，对应的分片将文档数据返回给协调节点，最后协调节点将数据整合返回给客户端。
ES容错机制
1、第一步: Master选举(假如宕机节点是Master)
1)脑裂:可能会产生多个Master节点
2)解决: discovery.zen.minimum master. nodes=N/2+ 1
2、第二步: Replica容错， 新的(或者原有) Master节点会将丢失的Primary对应的某个副本提升为Primary
3、第三步: Master节点会尝试重启故障机
4、第四步:数据同步，Master会将宕机期间丢失的数据同步到重启机器对应的分片上去，如果宕机节点不是Master,将省去Master选举的步骤
Master选举
如图：
ES部署时，要如何进行优化
1、集群部署优化。
调整ES的一些重要参数。path.data 目录尽量使用SSD(固态硬盘)。定制JVM堆内存大小。
关于ES的参数，大部分情况下是不需要调优的，如果有性能问题，最好的办法是安排更合理的sharding布局并且增加节点数量。
2、更合理的sharding布局:让sharding和对应的replica sharding尽量在同一个机房（根据具体情况而定，如果不考虑容灾情况的话）。
3、Linux服务器上的一些优化策略:
不要用root用户、修改虚拟内存大小、修改普通用户可以创建的最大线程数。
ES生态:ELK日志收集解决方案-filebeat(读log日志)->logstash->ElasticSearch->kibana、Grafana.自研的报表平台
扫一扫
1358
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
