ElasticSearch

最新推荐文章于 2024-09-30 17:24:32 发布
最新推荐文章于 2024-09-30 17:24:32 发布
阅读量1.3k 收藏 1
点赞数
文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tianiankupao/article/details/115511669
版权

一、安装Elasticsearch

1、安装Elasticsearch

1.1、创建普通用户

ES不能使用root用户来启动，必须使用普通用户来安装启动。

创建一个es专门的用户（必须）

# 使用root用户在服务器执行以下命令

先创建组，再创建用户：
1)创建elasticsearch 用户组
[root@localhost ~]# groupadd elasticsearch

2) 创建用户es并设置密码
[root@localhost ~]# useradd es
[root@localhost ~]# passwd es

3) 创建es文件夹
[root@localhost ~]# mkdir -p /usr/local/es

4) 用户es添加到elasticsearch用户组
[root@localhost ~]# usermod -G elasticsearch es
[root@localhost ~]# chown -R es /usr/local/es/

5) 设置sudo权限
# 为了让普通用户有更大的操作权限，我们一般都会给普通用户设置sudo权限，方便普通用户的操作
# 三台机器使用root用户执行visudo命令然后为es用户添加权限
[root@localhost ~]# visudo

#在root ALL-(ALL) ALL一行下面
#添加es用户，如下：
es ALL-(ALL) ALL

#添加成功保存后切换到es用户操作
[root@localhost ~]# su es
[es@localhost root]$

1.2、上传压缩包并解压

将es的安装包下载并上传到服务器的、user/local/es路径下，然后进行解压

使用es用户来执行以下操作

#解压Elasticsearch
su es
cd /user/local
tar -zxvf elasticsearch-7.12.0-linux-x86_64.tar.gz -C /usr/local/es

1.3 、修改配置文件

1.3.1、修改elasticsearch.xml文件

进入服务器使用es用户来修改配置文件

mkdir -p /usr/local/es/elasticsearch-7.12.0/log
mkdir -p /usr/local/es/elasticsearch-7.12.0/data


cd /usr/local/es/elasticsearch-7.12.0/config
vi elasticsearch.yml

cluster.name: xiaoming
node.name: node1
path.data: /usr/local/es/elasticsearch-7.12.0/data
path.logs: /usr/local/es/elasticsearch-7.12.0/log
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: [192.168.132.3"]
cluster.initial_master_nodes: ["node1"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enable: true
http.cors.allow-origin: "*"

1.3.2、修改jvm.option

修改jvm.option配置文件，调整jvm堆内存大小

cd /usr/local/es/elasticsearch-7.12.0/config/
vi jvm.options
-Xms2g
-Xmx2g

2、修改系统配置，解决启动时候的问题

由于现在使用普通用户来安装es服务，且es服务对服务器的资源要求比较多，包括内存大小，线程数等。

2.1、普通用户打开文件的最大数限制

问题错误信息描述：

max file descriptos [4096] fro elasticsearch process likely too low, increase to at least [65536]

ES因为需要大量的创建索引文件，需要大量的打开系统的文件，所以我们需要解除linux系统当中打开文件最大数目的限制，不然ES启动就会抛错

sudo vi /etc/security/limits.conf 

添加如下内容：

* soft nofile 65536
* hard nofile 131072
* soft nproc 4096
* hard nproc 4096

此文件修改后需要重新登录用户，才会生效

2.2、普通用户启动线程数限制

问题错误信息描述

max number of threads [1024] for user [es] likely too low, increase to at least [4096]

修改普通用户可以创建的最大线程数

原因：无法创建本地线程问题，用户最大可创建线程数太小解决方案：修改90-nproc.conf配置文件。

vi /etc/security/limits.d/20-nproc.conf

找到如下内容
*          soft    nproc     1024修改为
*          soft    nproc     4096

2.3、普通用户调大虚拟内存

错误信息描述：

max virtual memory areas vm.max_map_count [65539] likely too low, increase to at least [262144]

调大系统的虚拟内存

原因：最大虚拟内存太小，每次启动机器都手动执行下

vi /etc/sysctl.conf 
追加如下内容
vm.max_map_count=655360
保存后，执行：sysctl -p

3.启动ES服务

使用es用户执行以下命令启动es服务

cd /usr/local/es/elasticsearch-7.12.0/bin/

后台启动ES

./elasticsearch -d

启动成功之后在浏览器输入即可看到服务进程

http://192.168.132.3:9200/?pretty

二、客户端kibana安装

1.客户端可以分为图形界面客户端，和代码客户端

2.ES主流客户端Kibana，开放9200端口与图形界面客户端交互

   1).下载kibana放之、usr/local/es目录中

   2).解压文件： tar -zxvf kibana-7.12.0-linux-x86_64.tar.gz

   3).进入/usr/local/es/kibana-7.12.0-linux-x86_64/config目录

   4).使用vi编辑器：vi.kibana.yml

server.port:5601
server.host: "服务器IP"
elasticsearch.hosts: ["http://IP:9200"] #这里是elasticsearch的访问地址

 5).启动kibana

cd /usr/local/es/kibana-7.12.0-linux-x86_64/bin

./kibana

三、安装IK分词器

1.下载Elasticsearch IK分词器

https://github.com/medcl/elasticsearch-analysis-ik/releases

2.切换到es用户，并在es的安装目录下/plugins创建ik

mkdir -p /usr/local/es/elasticsearch-7.12.0/plugins/ik/

3.将下载的ik分词器上传并解压到该目录

cd /usr/local//es/elasticsearch-7.12.0/plugins/ik
unzip elasticsearch-analysis-ik-7.12.0.zip

4.重启elasticsearch

5.测试

粗粒度拆分

细粒度拆分

四、指定IK分词器作为默认分词器

ES的默认分词设置的是standard，这个在中文分词时就比较尴尬了，会单字拆分。

PUT /school_index
{
  "settings": {
    "index": {
      "analysis.analyzer.default.type": "ik_max_word"
    }
  }
}

五、ES数据管理

1、ES数据管理概述

ES是面向文档的，这意味着它可以存储整个对象或文档。然而它不仅仅是存储，还会索引（index）每个文档的内容使之可以被搜索。

在ES中，你可以对文档（而非成行成列的数据）进行索引，搜索，排序，过滤。ES使用JSON作为文档序列化格式。

JSON现在已经被大多语言所支持，而且已经成为NoSQL领域的标准格式。

2.基本操作

1) 创建索引

格式： PUT /索引名称

举例：PUT /es_db

2) 查询索引

格式：GET /索引名称

举例： GET /school_index

3）删除索引

格式：DELETE /索引名称

举例：DELETE /school_index

4）添加文档

格式：PUT /索引名称/类型/id

PUT /school_index/_doc/1
{
  "name": "张三",
  "sex": 1,
  "age": 25,
  "address": "上海世纪公园"
}

5）修改文档

格式： PUT /索引名称/类型/id

PUT /school_index/_doc/1
{
  "name": "张三",
  "sex": 1,
  "age": 25,
  "address": "上海世纪公园"
}

6）查询文档

格式：GET /索引名称/类型/id

GET /school_index/_doc/1

7）删除文档

格式：DELETE /索引名称/类型/id
举例：DELETE /es_db/_doc/1

六、查询操作

1、查询当前类型中的所有文档 _search

格式：GET /索引名称/类型/_search
举例：GET /es_db/_doc/_search

2、条件查询，如要查询age等于28岁的

格式：GET /索引名称/类型/_search?q=*:***
举例：GET /es_db/_doc/_search?q=age:28

3.范围查询，如要查询age在25至26岁之间的

格式：GET /索引名称/类型/_search?q=***[25 TO 26]
举例：GET /es_db/_doc/_search?q=age[25 TO 26]

4、根据多个ID进行批量查询_mget

格式：GET /索引名称/类型/_mget
举例：GET /es_db/_doc/_mget
    {
        "ids":["1","2"]
    }

5、查询年龄小于等于28的 :<=

格式：GET /索引名称/类型/_search?q=age:<=**
举例：GET /es_db/_doc/_search?q=age:<=28

6、查询年龄大于28前的 :>

格式：GET /索引名称/类型/_search?q=age:>**
举例：GET /es_db/_doc/_search?q=age:>28

7、分页查询 from=*&size=*

格式：GET /索引名称/类型/_search?q=age[25 TO 26]&from=0&size=1
举例：GET /es_db/_doc/_search?q=age[25 TO 26]&from=0&size=1

8、对查询结果只输出某些字段 _source=字段,字段

格式：GET /索引名称/类型/_search?_source=字段,字段
举例：GET /es_db/_doc/_search?_source=name,age

9、对查询结果排序 sort=字段：desc/asc

格式：GET /索引名称/类型/_search?sort=字段:desc
举例：GET /es_db/_doc/_search?sort=age:desc

七、DSL语言高级查询

ES提供了强大的查询语言（DSL），它可以允许我们进行更加强大、复杂的查询，elasticsearch DSL中有Query与Filter两种

1、Query方式查询，会在ES中索引的数据都会存储在一个_score分值，分值越高就代表越匹配。里外关于某个搜索的分值计算还是很复杂的，因此也需要一定的时间。

1）根据名称精确查询姓名 term，term查询不会对字段进行分词查询，会采用精确匹配

       注意：采用term精确查询，查询字段映射类型属于为keyword

    举例：

POST /es_db/_doc/_search
{
    "query": {
         "term": {
           "name": "admin:  
         }
     }
}

2)根据备注信息模糊查询match，match会根据该字段的分词器，进行分词查询

POST /es_db/_doc/_search
{
    "form": 0,
    "size": 2,
    "query": {
        "match": {
            "address": "广州"
        }
    }

}

3）多字段模糊匹配查询与精准查询 multi_match

POST /es_db/_doc/_search
{
    "query": {
        "multi_match": {
            "query": "张三",
            "fields":["address","name"]
        }
    }
}

4）范围查询

注：join请求字符串中部分字段的含义

         range：范围关键字

         gte: 大于等于

         lte:   小于等于

         gt:     大于

         lt: 小于

        now:    当前时间

POST /es_db/_doc/_search

{
  "query": {
        "range": {
            "age": {
                "gte": 25,
                "lte": 28
             }
        }
    }
}

5)  分页、输出字段、排序综合查询

POST /es_db/_doc/_search 
{
    "query": {
        "range": {
            "age": {
                "gte": 25,
                "lte": 28
             }
        }
    },
"from": 0,
"size": 2,
"_source": ["name","age","book"],
"sort": {"age": "desc"}
}

2、Filter过滤器方式查询，它的查询不会计算相关性分值，也不会对结果进行排序，因此效率会高一点，查询的结果可以被缓存。

Filter Context对数据进行过来

POST /es_db/_doc/_search
{
    "query": {
        "bool": {
            "filter": {
                "term": {
                    "age": 25
                }
            }
        }
    }
}

八、文档映射

1.ES中映射可以分为动态映射和静态映射

动态映射：

   在关系数据库中，需要事先创建数据库，然后在该数据库下创建数据表，并创建表字段、类型、长度、主键等，最后才能基于表插入数据。而elasticsearch中不需要定义Mapping映射，在文档写入Elasticsearch时,会根据文档字段自动识别类型，这种机制称之为动态映射。

动态映射规则如下：

JSON数据自动识别的类型
null没有字段被添加
true或falseBoolean类型
小数float类型
数字long类型
日期data或text
字符串text
数组由数组第一个非空值决定
JSON对象object类型

 

 

 

 

 

 

 

 

 

静态映射：

   静态映射是在Elasticsearch中也可以事先定义好映射，包含文档的各字段类型、分词器等，这种方式称之为静态映射。

2、动态映射

2.1、删除原创建的索引

DELETE /es_db

2.2、创建索引

PUT /es_db

2.3、创建文档（ES根据数据类型，会自动创建映射）

PUT /es_db/_doc/1
{
  "name": "jack",
  "sex": 1,
  "age": 25,
  "book": "es入门",
  "address": "小明"
}

2.4、获取文档映射

GET /es_db/_mapping

3、静态映射

3.1、删除原创建的索引

DELETE /es_db

3.2、创建索引

PUT /es_db

3.3、设置文档映射

PUT /es_db/_doc/1
{
  "mappings": {
    "properties": {
      "name": {
        "type": "keyword",
        "index": true,
        "store": true
      },
      "sex": {
        "type": "integer",
        "index": true,
        "store": true
      },
      "age": {
        "type": "integer",
        "index": true,
        "store": true
      },
      "book": {
        "type": "text",
        "index": true,
        "store": true
      },
      "address": {
        "type": "text",
        "index": true,
        "store": true
      }
    }
  }
}

3.5、获取文档映射

GET /es_db/_mapping

九、keyword与text映射类型的区别

将book 字段设置为keyword映射（只能精准查询，不能分词查询，能聚合、排序）

PUT /es_db/_doc/_search
{
  "query": {
    "term": {
      "book":"elasticsearch入门至精通"
    }
  }
}

将book字段设置为text映射（能模糊查询，能分词查询，不能聚合，排序）

PUT /es_db/_doc/_search
{
  "query": {
    "match": {
      "book":"elasticsearch入门至精通"
    }
  }
}

十、创建静态映射时指定text类型的ik分词器

1.设置IK分词器的文档映射

    

PUT /es_db/_doc/1
{
  "mappings": {
    "properties": {
      "name": {
        "type": "keyword",
        "index": true,
        "store": true
      },
      "sex": {
        "type": "integer",
        "index": true,
        "store": true
      },
      "age": {
        "type": "integer",
        "index": true,
        "store": true
      },
      "book": {
        "type": "text",
        "index": true,
        "store": true,
        "analyzer": "ik_smart"
      },
      "address": {
        "type": "text",
        "index": true,
        "store": true
      }
    }
  }
}

 

寂寞嘚街道
关注
ElasticSearch添加用户权限验证.docx
02-03
线上Elasticsearch集群，版本6.4.3，尽管为内网环境，并关闭的9200的外网访问端口，但安全扫描之后发现其存在elasticsearch未授权访问问题，需要进行http basic认证。
es-head Elasticsearch的可视化操作插件
12-19
es-head是一个针对Elasticsearch的可视化操作插件。它提供了一个便捷的操作工具，可以连接Elasticsearch搜索引擎，并提供可视化的操作页面，对Elasticsearch进行各种设置和数据检索功能的管理。 es-head 插件可以在...
ELK-elasticsearch设置用户、添加新用户、以及对应密码修改
shinexunmeng的博客
08-09 8126
ELK-elasticsearch设置用户、添加新用户、以及对应密码修改
elasticsearch设置账号和密码
最新发布
小石潭记丶
09-30 1292
注：前两个红框直接回车，第三个红框可以直接回车，也可以输入证书密码。目前青田实际的yml文件：通过挂载的方式实现的上面两个步骤。或者直接拷贝到宿主机，通过挂载的方式挂载进去。注：密码可设置为同一个密码，容易记住。注：两个红方框位置直接回车。
Elasticsearch7.8 创建用户
weixin_45824909的博客
02-21 2647
Elasticsearch添加用户配置 一开始没弄用户配置，把elastic search丢到服务器上裸奔 结果惨的一批，幸亏都是测试的假数据 好了，进入正题 添加elastic.yml配置 xpack.security.enabled: true xpack.security.audit.enabled: true xpack.license.self_generated.type: basic xpack.security.transport.ssl.enabled: true 配置好了就启动Elas
elasticsearch搭建
前方的路在刚开始
05-05 2882
Past Releases of Elastic Stack Software | Elastic 下载，我下的7.9.3，听说7以后自带jdk11 https://www.elastic.co/cn/downloads/past-releases#elasticsearch 解压，我解压到了根目录 tar -zxvf elasticsearch-7.9.3-linux-x86_64.tar.gz -C /建立es用户，启动es必须是es用户，并且把刚刚解压的文件夹，所属人，给es adduser
创建 elasticsearch 用户
weixin_30692143的博客
07-27 974
创建 elasticsearch 用户 groupadd -g 3048 elasticsearch useradd -s /sbin/nologin -u 3048 -g elasticsearch elasticsearch 　　 转载于:https://www.cnblogs.com/xzlive/p/9377979.html...
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端
06-20
Elasticsearch（简称ES）是一款强大的开源搜索引擎，广泛应用于数据检索、分析和管理。作为分布式、RESTful风格的搜索和数据分析引擎，Elasticsearch能够提供实时、高可用性以及可扩展的搜索功能。在进行日常的数据...
ES客户端+谷歌浏览器插件+Multi-Elasticsearch-Head
06-30
多弹性搜索头，对著名的 Elasticsearch Head 的改进 1.保存和存储几个Elasticsearch端点 2.索引选项卡中的更多列 3. 任何请求现在都可以像 /_cat/indices 一样处理 JSON 返回 4. 更简约的外观（更小的字体等...） ...
ES查询客户端，elasticsearch可视化工具
06-24
elasticsearch的客户端比较出名的就是elasticsearch head 和Kibana了， 但是elasticsearch head已经停止更新，且样式老旧，功能不全； 而Kibana虽功能全面，但是启动麻烦，大部分功能用不上，很不灵活，所以采用vite...
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战)
04-18
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战),包含了小狂神讲的东西，特别适合新手学习，笔记保存下来可以多看看。好记性不如烂笔头哦~，ElasticSearch，简称es，es是一个...
elasticsearchlinux搭建详解
03-05
自己做的关于elasticsearch-6.6.1的linux版搭建程ppt，内容包含elasticsearch-6.6.1搭建，集成ik分词器6.6.0版，logstash-6.6.1版，node安装，服务集群，服务搭建过程中可能会遇到的坑等等
Elasticsearch创建安全账户
IT三明治的专栏
04-25 1745
Elasticsearch创建安全账户
Elasticsearch 用户管理
这个需求，做不了
04-04 2561
这些内置用户存储在一个特殊的.security索引中，该索引由 Elasticsearch 管理。如果内置用户被禁用或其密码发生更改，更改会自动反映在集群中的每个节点上。但是，如果你的.security索引被删除或从快照恢复，你应用的任何更改都将丢失。
ElasticSearch添加用户名及密码
zhiwenganyong的博客
07-25 7321
ElasticSearch添加用户名及密码
elasticsearch 环境搭建（linux）
qq_50761817的博客
04-16 1096
ES分布式部署步骤-CSDN博客},"ik":{},},},"id":{},"title":{},},"author":{},"source":{},},
Elasticsearch内置用户详解
shiwai2436的博客
04-18 1250
在Elasticsearch的基本许可证中，可以使用内置用户来设置和管理安全性。这些内置用户具有特定的权限和角色，以便于在不同情况下进行管理和操作。：这个用户用于Beats代理（如Filebeat、Metricbeat等）与Elasticsearch集群之间的通信。：这个用户用于Kibana实例与Elasticsearch集群之间的通信。：这个用户用于APM Server与Elasticsearch集群之间的通信。：这个用户用于运行和管理Elasticsearch的数据摄取和管理功能。
elasticsearch 配置用户名和密码
Xeon_CC的博客
08-02 6912
无密码的其他配置项在：https://blog.csdn.net/Xeon_CC/article/details/132064295。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值