elasticsearc简介

简介

Elasticsearch 是一个开源的搜索分析引擎，建立在一个全文搜索引擎库 Lucene 基础之上。 Lucene 可以说是当下最先进、高性能、全功能的搜索引擎库。
Elasticsearch 使用 Java 编写，它的内部使用 Lucene 做索引与搜索，目的是使全文检索变得简单， 通过隐藏 Lucene 的复杂性，取而代之的提供一套简单一致的 RESTful API 来与客户端交互。
Elasticsearch为所有类型的数据提供实时搜索和分析。无论是结构化文本还是非结构化文本，数字数据或地理空间数据，Elasticsearch都能以支持快速搜索的方式有效地对其进行存储和索引。不仅可以进行简单的数据检索，还可以聚合信息来发现数据中的趋势和模式。随着数据和查询量的增长，Elasticsearch的分布式特性使的部署可以随之无缝地增长。
Elasticsearch 将所有的功能打包成一个单独的服务，可以通过程序与它提供的简单的 RESTful API 进行通信，这样 可以使用各种编程语言充当 web 客户端去交互，甚至可以使用命令行。

从开源到上市

• Elastic Inc - 开源软件 / 上市公司
• ElasticSearch 软件下载量超过3.5亿次
• 10 万 + 的社区成员
• GitHub 维基百科 阿里巴巴 腾讯 Amazon 等都在使用合作
  

ElasticSearch vs Solr

ElasticSearch 与 Solr 是当前市面上比较大众的两款基于 lucene 的搜索引擎
蓝色的代表 ElasticSearch ，红色的代表 Solr ，可以看出，最近几年 ElasticSearch 的受欢迎程度已经远远的超过了 Solr

起源 - Lucene

• Lucene 是一款基于 java 语言开发的搜索引擎类库
• 创建于 1999年， 在 2005 年成为 Apache 的顶级开源项目
• 优点，lucene 具有高性能易扩展的优点
• 局限性，只能支持 java语言开发，原生并不支持 水平扩展(这在分布式下是个灾难)，学习难度高

基于这些缺点，所以 ElasticSearch 在lucene的基础上出现了

分布式架构

ElasticSearch 的集群规模可以扩展到数百个节点，当数据规模变大时这个扩展性是很强的，并且 Elastic 社区还支持设置不同的 集群节点类型，比如为日志型的场景可以设置一个 Hot node， Warn node 等。ElasicSearch 支持多种语言接入，通过RestFul api 的方式。

Elastic Stack 生态圈

Elastic Stack 有很丰富的生态圈， Kibana 可以为ElasticSearch 提供一个 可视化的分析页面，更加直观的展示分析数据，数据源的抓取可以用 Logstash 以及 Beat 来异构。

Logstash 数据处理管道

• 开源的服务器端数据处理管道，支持从不同数据源采集数据，转化数据并将数据发送到不同的存储系统中
• 实时处理解析和转换数据，比如从ip地址破解位置，过滤掉敏感数据
• 可扩展行，支持200多个插件
• 可靠安全性，通过消息队列来保证事件至少触发一次

Kibana 可视化分析

• 数据可视化工具，可以帮助你分析一些数据看板信息并且展示
• 日志系统的展示可以通过Kibana 来做

Beats 轻量的数据采集器

针对不同的数据源来将数据采集进来， FileBeat 是对文件的数据采集， packetBeat 是对网络的抓包来收集数据

ElasticSearch 使用场景

日志系统架构

7.X 新特性

• lucene 8
• 重大改动，废除 一个索引下支持多个 type 这种方式，默认只有 _doc
• 7.1开始 Security 免费试用
• 性能 默认的 Primart Shard 数从 5 降低成为 1