EleasticSearch快速入门

最新推荐文章于 2023-04-06 11:20:24 发布

black210

最新推荐文章于 2023-04-06 11:20:24 发布

阅读量1.1k

点赞数 1

分类专栏：学习笔记文章标签：分布式 elasticsearch java

本文链接：https://blog.csdn.net/black210/article/details/105317047

版权

1.概述1.1. ElasticSearch什么是 ElasticSearch ？Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据。es 也使用 Java 开发并使用 Lucene 作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的 RESTful...

摘要由CSDN通过智能技术生成

1.概述

1.1. ElasticSearch

什么是 ElasticSearch ？

Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据。es 也使用 Java 开发并使用 Lucene 作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的 RESTful API来隐藏 Lucene 的复杂性，从而让全文搜索变得简单。官网

如上所述，Elasticsearch具备以下特点：

分布式，无需人工搭建集群（solr就需要人为配置，使用Zookeeper作为注册中心）
Restful 风格，一切API都遵循Rest原则，容易上手
近实时搜索，数据更新在 Elasticsearch 中几乎是完全同步的。

Elastic 有一条完整的产品线及解决方案：Elasticsearch、Kibana、Logstash等，前面说的三个就是大家常说的ELK技术栈。

为什么使用 ES？

参考
使用MySQL时，当数据库中数据多时，响应速度就会变得不可接受，效率无法保证
在做中文搜索时，组合词检索在数据库是很难完成的。
数据库并不支持相关性搜索，Elasticsearch支持全文搜索和相关度评分

ElasticSearch 对比 Solr

Solr 利用 Zookeeper 进行分布式管理，而 Elasticsearch 自身带有分布式协调管理功能;
Solr 支持更多格式的数据，而 Elasticsearch 仅支持 json 文件格式；
Solr 官方提供的功能更多，而 Elasticsearch 本身更注重于核心功能，高级功能多有第三方插件提供；
Solr 在传统的搜索应用中表现好于 Elasticsearch，但在处理实时搜索应用时效率明显低于 Elasticsearch.

ElasticSearch 默认不允许以 root 账号运行

示例创建一个 leyou 用户，并切换至该用户

useradd leyou
passwd leyou
su - leyou

ElasticSearch 绑定了两个端口:

9300：集群节点间通讯接口
9200：客户端访问接口，http://192.168.56.101:9200

1.2. kibana

什么是 kibana ？

Kibana是一个基于Node.js 的 Elasticsearch 索引库数据统计工具，可以利用 Elasticsearch 的聚合功能，生成各种图表，如柱形图，线状图，饼图等。

而且还提供了操作Elasticsearch索引数据的控制台，并且提供了一定的API提示，非常有利于我们学习Elasticsearch的语法。

win 下配置

进入安装目录下的 config 目录，修改 kibana.yml 文件

elasticsearch.url: “http://192.168.56.101:9200”

运行

双击 bin 目录的 kibana.bat
kibana 的监听端口是5601，http://127.0.0.1:5601

控制台

在这里插入图片描述

1.3. ik 分词器

由于英文句子都是使用空格进行分隔，因此在分词比较明确，但是中文由于语言特性，分词比较难分，也容易产生分词歧义，如果自己开发分词器，成本会比较大，所以一般在使用过程中都会用一些分词器，比较著名的有 Jieba分词器，hanlp 等，我们这里介绍一个es的插件分词器，ik 分词器。

Lucene 的 IK 分词器早在2012年已经没有维护了，现在我们要使用的是在其基础上维护升级的版本，并且开发为ElasticSearch的集成插件了，与 Elasticsearch一起维护升级，版本也保持一致。下载地址

2.核心概念

反复回顾，加深理解

Elasticsearch 是面向文档(document oriented)的，这意味着它可以存储整个对象或文档(document)。然而它不仅仅是存储，还会索引(index)每个文档的内容使之可以被搜索。在 Elasticsearch 中，你可以对文档（而非成行成列的数据）进行索引、搜索、排序、过滤。Elasticsearch 比传统关系型数据库如下：

索引（indices）--------------------------------Databases 数据库

  类型（type）-----------------------------Table 数据表

     文档（Document）----------------Row 行

	   字段（Field）-------------------Columns 列

索引 index

一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。在一个集群中，可以定义任意多的索引。

类型 type

在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。类型是模拟 mysql 中的 table 概念，一个索引库下可以有不同类型的索引，比如商品索引，订单索引，其数据格式不同。不过这会导致索引库混乱，因此未来版本中会移除这个概念

字段 Field

相当于是数据表的字段，对文档数据根据不同属性进行的分类标识

映射 mapping

mapping 是处理数据的方式和规则方面做一些限制，如某个字段的数据类型、默认值、分析器、是否被索引等等，这些都是映射里面可以设置的，其它就是处理 es 里面数据的一些使用规则设置也叫做映射，按着最优规则处理数据对性能提高很大，因此才需要建立映射，并且需要思考如何建立映射才能对性能更好。

文档 document

一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以 JSON（Javascript Object Notation）格式来表示，而 JSON 是一个到处存在的互联网数据交互格式。

存入索引库原始的数据。比如每一条商品信息，就是一个文档

在一个index/type里面，你可以存储任意多的文档。注意，尽管一个文档，物理上存在于一个索引之中，文档必须被索引/赋予一个索引的type。

接近实时 NRT

Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒以内）

集群 cluster

一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能。一个集群由一个唯一的名字标识，这个名字默认就是“elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群

节点 node

一个节点是集群中的一个服务器，作为集群的一部分，它存储数据，参与集群的索引和搜索功能。和集群类似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于Elasticsearch集群中的哪些节点。

一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。

在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没有运行任何Elasticsearch节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。

分片和复制 shards&replicas

一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上。分片很重要，主要有两方面的原因：

允许你水平分割/扩展你的内容容量。
允许你在分片（潜在地，位于多个节点上）之上进行分布式的、并行的操作，进而提高性能/吞吐量。

至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由 Elasticsearch 管理的，对于作为用户的你来说，这些都是透明的。

在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，Elasticsearch允许你创建分片的一份或多份拷贝，这些拷贝叫做复制分片，或者直接叫复制。

复制之所以重要，有两个主要原因：在分片/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的。扩展你的搜索量/吞吐量，因为搜索可以在所有的复制上并行运行。

总之，每个索引可以被分成多个分片。一个索引也可以被复制0次（意思是没有复制）或多次。一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变复制的数量，但是你事后不能改变分片的数量。

默认情况下，Elasticsearch 中的每个索引被分片5个主分片和1个复制，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个复制分片（1个完全拷贝），这样的话每个索引总共就有10个分片。

3.操作索引

Elasticsearch采用 Rest 风格API，因此其 API 就是一次http请求，你可以用任何工具发起http请求

ElasticSearch的接口语法：

curl -X<VERB> '<PROTOCOL>://<HOST>:<PORT>/<PATH>?<QUERY_STRING>' -d '<BODY>'

参数	解释
`VERB`	适当的 HTTP 方法或谓词 : `GET`、 `POST`、 `PUT`、 `HEAD` 或者 `DELETE`。
`PROTOCOL`	`http` 或者 `https`（如果你在 Elasticsearch 前面有一个 `https` 代理）
`HOST`	Elasticsearch 集群中任意节点的主机名，或者用 `localhost` 代表本地机器上的节点。
`PORT`	运行 Elasticsearch HTTP 服务的端口号，默认是 `9200` 。
`PATH`	API 的终端路径（例如 `_count` 将返回集群中文档数量）。Path 可能包含多个组件，例如：`_cluster/stats` 和 `_nodes/stats/jvm` 。
`QUERY_STRING`	任意可选的查询字符串参数 (例如 `?pretty` 将格式化地输出 JSON 返回值，使其更容易阅读)
`BODY`	一个 JSON 格式的请求体 (如果请求需要的话)

3.1.创建索引

使用工具，如 PostMan

请求url：

PUT		localhost:9200/blog1

请求体：

{
   
    "settings": {
   
        "number_of_shards": 3,
        "number_of_replicas": 2
      }
}

settings：索引库的设置
- number_of_shards：分片数量
- number_of_replicas：副本数量

使用 kibana 创建

kibana 的控制台，可以对 http 请求进行简化，相当于是省去了elasticsearch的服务器地址

而且还有语法提示，非常舒服。示例：

3.2.查看索引

Get 请求可以帮我们查看索引信息，格式：

GET /索引库名
GET *

我们可以使用 *来查询所有索引库配置

3.3.删除索引

删除索引使用 DELETE 请求

DELETE /索引库名

我们也可以用 HEAD 请求，查看索引是否存在：

4.映射配置

索引有了，接下来肯定是添加数据。但是，在添加数据之前必须定义映射。

回顾一下，什么是映射？

映射是定义文档的过程，文档包含哪些字段，这些字段是否保存，是否索引，是否分词等。

4.1.创建映射

请求方式依然是 PUT

PUT /索引库名/_mapping/类型名称
{
   
  "properties": {
   
    "字段名": {
   
      "type": "类型",
      "index": true，
      "store": true，
      "analyzer": "分词器"
    }
  }
}

类型名称：就是前面将的 type 的概念，类似于数据库中的不同表
- 字段名：任意填写，可以指定许多属性
type：类型，可以是text、long、short、date、integer、object等
index：是否索引，默认为 true
store：是否存储，默认为 false
analyzer：分词器，这里的ik_max_word即使用 ik 分词器

示例：

PUT heima/_mapping/goods
{
   
  "properties": {
   
    "title": {
   
      "type": "text",
      "analyzer": "ik_max_word"
    },
    "images": {
   
      "type": "keyword",
      "index": "false"
    },
    "price": {
   
      "type": "float"
    }
  }
}

响应结果：

{
   
  "acknowledged": true
}

4.2.字段属性详解

type

我们说几个关键的：

String类型，又分两种：
- text：可分词，不可参与聚合
- keyword：不可分词，数据会作为完整字段进行匹配，可以参与聚合
Numerical：数值类型，分两类
- 基本数据类型：long、interger、short、byte、double、float、half_float
- 浮点数的高精度类型：scaled_float
  - 需要指定一个精度因子，比如10或100。elasticsearch会把真实值乘以这个因子后存储，取出时再还原。
Date：日期类型

elasticsearch可以对日期格式化为字符串存储，但是建议我们存储为毫秒值，存储为long，节省空间。
Boolean：bool类型

index

index影响字段的索引情况。

true：字段会被索引，则可以用来进行搜索。默认值就是 true
false：字段不会被索引，不能用来搜索

index的默认值就是 true，也就是说你不进行任何配置，所有字段都会被索引。

但是有些字段是我们不希望被索引的，比如商品的图片信息，就需要手动设置 index 为false。

store

是否将数据进行额外存储。

lucene 和solr时，一个字段的store设置为false，那么在文档列表中就不会有这个字段的值，用户的搜索结果中不会显示出来。
Elasticsearch在创建文档索引时，会将文档中的原始数据备份，保存到一个叫做_source的属性中。而且我们可以通过过滤_source来选择哪些要显示，哪些不显示。
如果设置store为true，就会在_source以外额外存储一份数据，多余，因此一般我们都会将store设置为false，事实上，store的默认值就是false。

更多字段请参考官方文档

4.3.查看映射

GET /索引库名/_mapping
GET /heima/_mapping

响应：

{
   
  "heima": {
   
    "mappings": {
   
      "goods": {
   
        "properties": {
   
          "images": {
   
            "type": "keyword",
            "index": false
          },
          "price": {
   
            "type": "float"

最低0.47元/天解锁文章

black210

关注

1
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
EleasticSearch快速入门

1.概述1.1. ElasticSearch什么是 ElasticSearch ？Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据。es 也使用 Java 开发并使用 Lucene 作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的 RESTful...
复制链接

扫一扫