【Elasticsearch】elasticsearch介绍

一、什么是全文搜索引擎

数据一般分为结构化数据和非结构化数据两种。

• 结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等。对于结构化数据，我们一般都是可以通过关系型数据库(mysql，oracle等)的 table 的方式存储和搜索，也可以建立索引。通过b-tree等数据结构快速搜索数据。
• 非结构化数据：全文数据，指不定长或无固定格式的数据，如邮件，word文档等。对于非结构化数据，也即对全文数据的搜索主要有两种方法：顺序扫描法，全文搜索法。

(1) 顺序扫描

按字面意思，我们可以了解它的大概搜索方式，就是按照顺序扫描的方式查找特定的关键字。比如让你在一篇篮球新闻中，找出"科比"这个名字在哪些段落出现过。那你肯定需要从头到尾把文章阅读一遍，然后标记出关键字在哪些地方出现过。

这种方法毋庸置疑是最低效的，如果文章很长，有几万字，等你阅读完这篇新闻找到"科比"这个关键字，那得花多少时间。

(2) 全文检索

对非结构化数据进行顺序扫描很慢，我们是否可以进行优化？把我们的非结构化数据想办法弄得有一定结构不就行了吗？将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对这些有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这种方式就构成了全文搜索的基本思路。这部分从非结构化数据中提取出的然后重新组织的信息，我们称之索引。

我们以NBA中国网站为例，假设我们都是篮球爱好者，并且我们是科密，那如何快速找到有关科比的新闻呢？全文搜索的方式就是，将所有新闻中所有的关键字进行提取，比如"科比"，"詹姆斯"，"总冠军"，"MVP"等关键字，然后对这些关键字建立索引，通过索引我们就可以找到对应的该关键词出现的新闻了。

根据百度百科中的定义，全文搜索引擎是目前广泛应用的主流搜索引擎。它的工作原理是计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的。

为什么不用mysql做全文搜索

有人可能会问，为什么一定要用搜索引擎呢？我们的所有数据不是都可以放在数据库里吗？而且 Mysql，Oracle，SQL Server 等数据库里不是也能提供查询搜索功能，直接通过数据库查询不就可以了吗？

确实，我们大部分的查询功能都可以通过数据库查询获得，如果查询效率低下，还可以通过新建数据库索引，优化SQL等方式进行提升效率，甚至通过引入缓存比如 redis，memcache 来加快数据的返回速度。如果数据量更大，还可以通过分库分表来分担查询压力。

那为什么还要全文搜索引擎呢？我们从几个角度来说：

数据类型

全文索引搜索很好的支持非结构化数据的搜索，可以更好地快速搜索大量存在的任何单词非结构化文本。例如 Google，百度类的网站搜索，它们都是根据网页中的关键字生成索引，我们在搜索的时候输入关键字，它们会将该关键字即索引匹配到的所有网页返回；还有常见的项目中应用日志的搜索等等。对于这些非结构化的数据文本，关系型数据库搜索不是能很好的支持。

搜索性能

如果使用mysql做搜索，比如有个player表，这个表有user_name这个字段，我们要查找出user_name以james开头的球员，和含有James的球员。我们一般怎么做？数据量达到千万级别的时候怎么办？

灵活的搜索

• 如果我们想查出名字叫james的球员，但是用户输入了jame，我们想提示他一些关键字
• 如果我们想查出带有"冠军"关键字的文章，但是用户输入了"总冠军"，我们也希望能查出来。

索引的维护

一般传统数据库，全文搜索都实现的很鸡肋，因为一般也没人用数据库存长文本字段，因为进行全文搜索的时候需要扫描整个表，如果数据量大的话即使对SQL的语法进行优化，也是效果甚微。即使建立了索引，但是维护起来也很麻烦，对于 insert 和 update 操作都会重新构建索引。

常见的搜索引擎

Lucene

• Lucene 是一个Java全文搜索引擎，完全用Java编写。Lucene不是一个完整的应用程序，而是一个代码库和API，可以很容易地用于向应用程序添加搜索功能。
• 通过简单的API提供强大的功能：① 可扩展的高性能索引② 强大、准确、高效的搜索算法 ③ 跨平台解决方案
• Lucene只是一个框架，要充分利用它的功能，需要使用java，并且在程序中集成Lucene。需要很多的学习了解，才能明白它是如何运行的，熟练运用Lucene确实非常复杂。

Solr

• Solr是一个基于Lucene的Java库构建的开源搜索平台。它以用户友好的方式提供Apache Lucene的搜索功能。它是一个成熟的产品，拥有强大而广泛的用户社区。它能提供分布式索引，复制，负载均衡查询以及自动故障转移和恢复。如果它被正确部署然后管理得好，它就能够成为一个高度可靠，可扩展且容错的搜索引擎。很多互联网巨头，如Netflix，eBay，Instagram和亚马逊都使用Solr，因为它能够索引和搜索多个站点。
• 提供强大的功能：① 全文搜索 ② 突出 ③ 分面搜索 ④ 实时索引 ⑤ 动态群集  ⑥ 数据库集成 ⑦ NoSQL功能和丰富的文档处理

Elasticsearch

• Elasticsearch 是一个开源，是一个基于Apache Lucene库构建的Restful搜索引擎.
• Elasticsearch 是在Solr之后几年推出的。它提供了一个分布式，多租户能力的全文搜索引擎，具有HTTP Web界面（REST）和无架构JSON文档。Elasticsearch的官方客户端库提供Java，Groovy，PHP，Ruby，Perl，Python，.NET和Javascript。
• 主要功能：① 分布式搜索 ② 数据分析 ③ 分组与聚合
• 应用场景：① Stack Overflow ② 电商网站 ③ 日志数据分析④ 商品价格监控网站 ⑤ BI系统 ⑥ 站内搜索 ⑦ 篮球论坛

全文索引引擎的适用场景

• 搜索的数据对象是大量的非结构化的文本数据。
• 文本数据量达到数十万或数百万级别，甚至更多。
• 支持大量基于交互式文本的查询。
• 需求非常灵活的全文搜索查询。
• 对安全事务，非文本数据操作的需求相对较少的情况。

二、Elastic Search核心概念介绍

ES=elaticsearch简写， Elasticsearch是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。

Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。

ES主要解决解决的问题：

• 检索相关数据
• 返回统计结果
• 速度要快

Cluster 集群

ES可以作为一个独立的单个搜索服务器。不过，为了处理大型数据集，实现容错和高可用性，ES可以运行在许多互相合作的服务器上。这些服务器的集合称为集群。

Node 节点

形成集群的每个服务器称为节点。

Shard：分片

当有大量的文档时，由于内存的限制、磁盘处理能力不足、无法足够快的响应客户端的请求等，一个节点可能不够。这种情况下，数据可以分为较小的分片。每个分片放到不同的服务器上。

当你查询的索引分布在多个分片上时，ES会把查询发送给每个相关的分片，并将结果组合在一起，而应用程序并不知道分片的存在。即：这个过程对用户来说是透明的。

Replia：副本

为提高查询吞吐量或实现高可用性，可以使用分片副本。

副本是一个分片的精确复制，每个分片可以有零个或多个副本。ES中可以有许多相同的分片，其中之一被选择更改索引操作，这种特殊的分片称为主分片。

当主分片丢失时，如：该分片所在的数据不可用时，集群将副本提升为新的主分片。

全文检索

全文检索就是对一篇文章进行索引，可以根据关键字搜索，类似于mysql里的like语句。

全文索引就是把内容根据词的意义进行分词，然后分别创建索引，例如”你们的激情是因为什么事情来的” 可能会被分词成：“你们“，”激情“，“什么事情“，”来“ 等token，这样当你搜索“你们” 或者 “激情” 都会把这句搜出来。

ES数据架构的主要概念（与关系数据库MySQL对比）

(1) 关系型数据库中的数据库（DataBase），等价于ES中的索引（Index）。

(2) 一个数据库下面有N张表（Table），等价于1个索引Index下面有N多类型（Type）。

(3) 一个数据库表（Table）下的数据由多行（ROW）多列（column，属性）组成，等价于1个Type由多个文档（Document）和多Field组成。

(4) 在一个关系型数据库里面，schema定义了表、每个表的字段，还有表和字段之间的关系。 与之对应的，在ES中：Mapping定义索引下的Type的字段处理规则，即索引如何建立、索引类型、是否保存原始索引JSON文档、是否压缩原始JSON文档、是否需要分词处理、如何进行分词处理等。

(5) 在数据库中的增insert、删delete、改update、查search操作等价于ES中的增PUT/POST、删Delete、改_update、查GET。

EKL是什么

ELK=elasticsearch+Logstash+kibana elasticsearch：后台分布式存储以及全文检索 logstash: 日志加工、“搬运工” kibana：数据可视化展示。

ELK架构为数据分布式存储、可视化查询和日志解析创建了一个功能强大的管理链。 三者相互配合，取长补短，共同完成分布式大数据处理工作。

ES特点和优势

(1) 分布式实时文件存储，可将每一个字段存入索引，使其可以被检索到。

(2) 实时分析的分布式搜索引擎。分布式：索引分拆成多个分片，每个分片可有零个或多个副本。集群中的每个数据节点都可承载一个或多个分片，并且协调和处理各种操作；负载再平衡和路由在大多数情况下自动完成。

(3) 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。也可以运行在单台PC上。

(4) 支持插件机制，分词插件、同步插件、Hadoop插件、可视化插件等。