ElasticSearch

最新推荐文章于 2024-03-10 22:27:44 发布
最新推荐文章于 2024-03-10 22:27:44 发布
阅读量972 收藏 1
点赞数
文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tianiankupao/article/details/115511669
版权

一、安装Elasticsearch

1、安装Elasticsearch

1.1、创建普通用户

ES不能使用root用户来启动，必须使用普通用户来安装启动。

创建一个es专门的用户（必须）

# 使用root用户在服务器执行以下命令

先创建组，再创建用户：
1)创建elasticsearch 用户组
[root@localhost ~]# groupadd elasticsearch

2) 创建用户es并设置密码
[root@localhost ~]# useradd es
[root@localhost ~]# passwd es

3) 创建es文件夹
[root@localhost ~]# mkdir -p /usr/local/es

4) 用户es添加到elasticsearch用户组
[root@localhost ~]# usermod -G elasticsearch es
[root@localhost ~]# chown -R es /usr/local/es/

5) 设置sudo权限
# 为了让普通用户有更大的操作权限，我们一般都会给普通用户设置sudo权限，方便普通用户的操作
# 三台机器使用root用户执行visudo命令然后为es用户添加权限
[root@localhost ~]# visudo

#在root ALL-(ALL) ALL一行下面
#添加es用户，如下：
es ALL-(ALL) ALL

#添加成功保存后切换到es用户操作
[root@localhost ~]# su es
[es@localhost root]$

1.2、上传压缩包并解压

将es的安装包下载并上传到服务器的、user/local/es路径下，然后进行解压

使用es用户来执行以下操作

#解压Elasticsearch
su es
cd /user/local
tar -zxvf elasticsearch-7.12.0-linux-x86_64.tar.gz -C /usr/local/es

1.3 、修改配置文件

1.3.1、修改elasticsearch.xml文件

进入服务器使用es用户来修改配置文件

mkdir -p /usr/local/es/elasticsearch-7.12.0/log
mkdir -p /usr/local/es/elasticsearch-7.12.0/data


cd /usr/local/es/elasticsearch-7.12.0/config
vi elasticsearch.yml

cluster.name: xiaoming
node.name: node1
path.data: /usr/local/es/elasticsearch-7.12.0/data
path.logs: /usr/local/es/elasticsearch-7.12.0/log
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: [192.168.132.3"]
cluster.initial_master_nodes: ["node1"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enable: true
http.cors.allow-origin: "*"

1.3.2、修改jvm.option

修改jvm.option配置文件，调整jvm堆内存大小

cd /usr/local/es/elasticsearch-7.12.0/config/
vi jvm.options
-Xms2g
-Xmx2g

2、修改系统配置，解决启动时候的问题

由于现在使用普通用户来安装es服务，且es服务对服务器的资源要求比较多，包括内存大小，线程数等。

2.1、普通用户打开文件的最大数限制

问题错误信息描述：

max file descriptos [4096] fro elasticsearch process likely too low, increase to at least [65536]

ES因为需要大量的创建索引文件，需要大量的打开系统的文件，所以我们需要解除linux系统当中打开文件最大数目的限制，不然ES启动就会抛错

sudo vi /etc/security/limits.conf 

添加如下内容：

* soft nofile 65536
* hard nofile 131072
* soft nproc 4096
* hard nproc 4096

此文件修改后需要重新登录用户，才会生效

2.2、普通用户启动线程数限制

问题错误信息描述

max number of threads [1024] for user [es] likely too low, increase to at least [4096]

修改普通用户可以创建的最大线程数

原因：无法创建本地线程问题，用户最大可创建线程数太小解决方案：修改90-nproc.conf配置文件。

vi /etc/security/limits.d/20-nproc.conf

找到如下内容
*          soft    nproc     1024修改为
*          soft    nproc     4096

2.3、普通用户调大虚拟内存

错误信息描述：

max virtual memory areas vm.max_map_count [65539] likely too low, increase to at least [262144]

调大系统的虚拟内存

原因：最大虚拟内存太小，每次启动机器都手动执行下

vi /etc/sysctl.conf 
追加如下内容
vm.max_map_count=655360
保存后，执行：sysctl -p

3.启动ES服务

使用es用户执行以下命令启动es服务

cd /usr/local/es/elasticsearch-7.12.0/bin/

后台启动ES

./elasticsearch -d

启动成功之后在浏览器输入即可看到服务进程

http://192.168.132.3:9200/?pretty

二、客户端kibana安装

1.客户端可以分为图形界面客户端，和代码客户端

2.ES主流客户端Kibana，开放9200端口与图形界面客户端交互

   1).下载kibana放之、usr/local/es目录中

   2).解压文件： tar -zxvf kibana-7.12.0-linux-x86_64.tar.gz

   3).进入/usr/local/es/kibana-7.12.0-linux-x86_64/config目录

   4).使用vi编辑器：vi.kibana.yml

server.port:5601
server.host: "服务器IP"
elasticsearch.hosts: ["http://IP:9200"] #这里是elasticsearch的访问地址

 5).启动kibana

cd /usr/local/es/kibana-7.12.0-linux-x86_64/bin

./kibana

三、安装IK分词器

1.下载Elasticsearch IK分词器

https://github.com/medcl/elasticsearch-analysis-ik/releases

2.切换到es用户，并在es的安装目录下/plugins创建ik

mkdir -p /usr/local/es/elasticsearch-7.12.0/plugins/ik/

3.将下载的ik分词器上传并解压到该目录

cd /usr/local//es/elasticsearch-7.12.0/plugins/ik
unzip elasticsearch-analysis-ik-7.12.0.zip

4.重启elasticsearch

5.测试

粗粒度拆分

细粒度拆分

四、指定IK分词器作为默认分词器

ES的默认分词设置的是standard，这个在中文分词时就比较尴尬了，会单字拆分。

PUT /school_index
{
  "settings": {
    "index": {
      "analysis.analyzer.default.type": "ik_max_word"
    }
  }
}

五、ES数据管理

1、ES数据管理概述

ES是面向文档的，这意味着它可以存储整个对象或文档。然而它不仅仅是存储，还会索引（index）每个文档的内容使之可以被搜索。

在ES中，你可以对文档（而非成行成列的数据）进行索引，搜索，排序，过滤。ES使用JSON作为文档序列化格式。

JSON现在已经被大多语言所支持，而且已经成为NoSQL领域的标准格式。

2.基本操作

1) 创建索引

格式： PUT /索引名称

举例：PUT /es_db

2) 查询索引

格式：GET /索引名称

举例： GET /school_index

3）删除索引

格式：DELETE /索引名称

举例：DELETE /school_index

4）添加文档

格式：PUT /索引名称/类型/id

PUT /school_index/_doc/1
{
  "name": "张三",
  "sex": 1,
  "age": 25,
  "address": "上海世纪公园"
}

5）修改文档

格式： PUT /索引名称/类型/id

PUT /school_index/_doc/1
{
  "name": "张三",
  "sex": 1,
  "age": 25,
  "address": "上海世纪公园"
}

6）查询文档

格式：GET /索引名称/类型/id

GET /school_index/_doc/1

7）删除文档

格式：DELETE /索引名称/类型/id
举例：DELETE /es_db/_doc/1

六、查询操作

1、查询当前类型中的所有文档 _search

格式：GET /索引名称/类型/_search
举例：GET /es_db/_doc/_search

2、条件查询，如要查询age等于28岁的

格式：GET /索引名称/类型/_search?q=*:***
举例：GET /es_db/_doc/_search?q=age:28

3.范围查询，如要查询age在25至26岁之间的

格式：GET /索引名称/类型/_search?q=***[25 TO 26]
举例：GET /es_db/_doc/_search?q=age[25 TO 26]

4、根据多个ID进行批量查询_mget

格式：GET /索引名称/类型/_mget
举例：GET /es_db/_doc/_mget
    {
        "ids":["1","2"]
    }

5、查询年龄小于等于28的 :<=

格式：GET /索引名称/类型/_search?q=age:<=**
举例：GET /es_db/_doc/_search?q=age:<=28

6、查询年龄大于28前的 :>

格式：GET /索引名称/类型/_search?q=age:>**
举例：GET /es_db/_doc/_search?q=age:>28

7、分页查询 from=*&size=*

格式：GET /索引名称/类型/_search?q=age[25 TO 26]&from=0&size=1
举例：GET /es_db/_doc/_search?q=age[25 TO 26]&from=0&size=1

8、对查询结果只输出某些字段 _source=字段,字段

格式：GET /索引名称/类型/_search?_source=字段,字段
举例：GET /es_db/_doc/_search?_source=name,age

9、对查询结果排序 sort=字段：desc/asc

格式：GET /索引名称/类型/_search?sort=字段:desc
举例：GET /es_db/_doc/_search?sort=age:desc

七、DSL语言高级查询

ES提供了强大的查询语言（DSL），它可以允许我们进行更加强大、复杂的查询，elasticsearch DSL中有Query与Filter两种

1、Query方式查询，会在ES中索引的数据都会存储在一个_score分值，分值越高就代表越匹配。里外关于某个搜索的分值计算还是很复杂的，因此也需要一定的时间。

1）根据名称精确查询姓名 term，term查询不会对字段进行分词查询，会采用精确匹配

       注意：采用term精确查询，查询字段映射类型属于为keyword

    举例：

POST /es_db/_doc/_search
{
    "query": {
         "term": {
           "name": "admin:  
         }
     }
}

2)根据备注信息模糊查询match，match会根据该字段的分词器，进行分词查询

POST /es_db/_doc/_search
{
    "form": 0,
    "size": 2,
    "query": {
        "match": {
            "address": "广州"
        }
    }

}

3）多字段模糊匹配查询与精准查询 multi_match

POST /es_db/_doc/_search
{
    "query": {
        "multi_match": {
            "query": "张三",
            "fields":["address","name"]
        }
    }
}

4）范围查询

注：join请求字符串中部分字段的含义

         range：范围关键字

         gte: 大于等于

         lte:   小于等于

         gt:     大于

         lt: 小于

        now:    当前时间

POST /es_db/_doc/_search

{
  "query": {
        "range": {
            "age": {
                "gte": 25,
                "lte": 28
             }
        }
    }
}

5)  分页、输出字段、排序综合查询

POST /es_db/_doc/_search 
{
    "query": {
        "range": {
            "age": {
                "gte": 25,
                "lte": 28
             }
        }
    },
"from": 0,
"size": 2,
"_source": ["name","age","book"],
"sort": {"age": "desc"}
}

2、Filter过滤器方式查询，它的查询不会计算相关性分值，也不会对结果进行排序，因此效率会高一点，查询的结果可以被缓存。

Filter Context对数据进行过来

POST /es_db/_doc/_search
{
    "query": {
        "bool": {
            "filter": {
                "term": {
                    "age": 25
                }
            }
        }
    }
}

八、文档映射

1.ES中映射可以分为动态映射和静态映射

动态映射：

   在关系数据库中，需要事先创建数据库，然后在该数据库下创建数据表，并创建表字段、类型、长度、主键等，最后才能基于表插入数据。而elasticsearch中不需要定义Mapping映射，在文档写入Elasticsearch时,会根据文档字段自动识别类型，这种机制称之为动态映射。

动态映射规则如下：

JSON数据自动识别的类型
null没有字段被添加
true或falseBoolean类型
小数float类型
数字long类型
日期data或text
字符串text
数组由数组第一个非空值决定
JSON对象object类型

 

 

 

 

 

 

 

 

 

静态映射：

   静态映射是在Elasticsearch中也可以事先定义好映射，包含文档的各字段类型、分词器等，这种方式称之为静态映射。

2、动态映射

2.1、删除原创建的索引

DELETE /es_db

2.2、创建索引

PUT /es_db

2.3、创建文档（ES根据数据类型，会自动创建映射）

PUT /es_db/_doc/1
{
  "name": "jack",
  "sex": 1,
  "age": 25,
  "book": "es入门",
  "address": "小明"
}

2.4、获取文档映射

GET /es_db/_mapping

3、静态映射

3.1、删除原创建的索引

DELETE /es_db

3.2、创建索引

PUT /es_db

3.3、设置文档映射

PUT /es_db/_doc/1
{
  "mappings": {
    "properties": {
      "name": {
        "type": "keyword",
        "index": true,
        "store": true
      },
      "sex": {
        "type": "integer",
        "index": true,
        "store": true
      },
      "age": {
        "type": "integer",
        "index": true,
        "store": true
      },
      "book": {
        "type": "text",
        "index": true,
        "store": true
      },
      "address": {
        "type": "text",
        "index": true,
        "store": true
      }
    }
  }
}

3.5、获取文档映射

GET /es_db/_mapping

九、keyword与text映射类型的区别

将book 字段设置为keyword映射（只能精准查询，不能分词查询，能聚合、排序）

PUT /es_db/_doc/_search
{
  "query": {
    "term": {
      "book":"elasticsearch入门至精通"
    }
  }
}

将book字段设置为text映射（能模糊查询，能分词查询，不能聚合，排序）

PUT /es_db/_doc/_search
{
  "query": {
    "match": {
      "book":"elasticsearch入门至精通"
    }
  }
}

十、创建静态映射时指定text类型的ik分词器

1.设置IK分词器的文档映射

    

PUT /es_db/_doc/1
{
  "mappings": {
    "properties": {
      "name": {
        "type": "keyword",
        "index": true,
        "store": true
      },
      "sex": {
        "type": "integer",
        "index": true,
        "store": true
      },
      "age": {
        "type": "integer",
        "index": true,
        "store": true
      },
      "book": {
        "type": "text",
        "index": true,
        "store": true,
        "analyzer": "ik_smart"
      },
      "address": {
        "type": "text",
        "index": true,
        "store": true
      }
    }
  }
}

 

寂寞嘚街道
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战)
04-18
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战),包含了小狂神讲的东西，特别适合新手学习，笔记保存下来可以多看看。好记性不如烂笔头哦~，ElasticSearch，简称es，es是一个...
ELK-elasticsearch设置用户、添加新用户、以及对应密码修改
shinexunmeng的博客
08-09 5612
ELK-elasticsearch设置用户、添加新用户、以及对应密码修改
ElasticSearch（1）
qq_45620075的博客
08-26 1673
简单记录
docker+elasticsearch
最新发布
m0_62155641的博客
03-10 320
3），在宿主机修改/etc/sysctl.conf。8），安装elasticsearch head插件。一，环境准备：安装docker（往期文章）7），访问nodeIP:9200进行测试。4），创建用户elsearch。5），变更用户为elsearch。6），到/package/bin。
elasticsearch搭建
前方的路在刚开始
05-05 2697
Past Releases of Elastic Stack Software | Elastic 下载，我下的7.9.3，听说7以后自带jdk11 https://www.elastic.co/cn/downloads/past-releases#elasticsearch 解压，我解压到了根目录 tar -zxvf elasticsearch-7.9.3-linux-x86_64.tar.gz -C /建立es用户，启动es必须是es用户，并且把刚刚解压的文件夹，所属人，给es adduser
Elasticsearch 环境搭建
Wolf_xujie的博客
08-24 627
Elasticsearch 环境搭建
ElasticSearch 7配置密码认证及创建用户
m0_67401499的博客
08-16 3326
我们直接安装的ES默认是没有账号与密码的，输入ES服务器的ip:端口，直接就能返回结果，非常不安全：因此需要设置账号密码。
ES创建只读用户
大叶子不小的博客
05-31 1226
上面的命令将创建一个名为 "searchuser" 的新用户，并将其分配给一个名为 "search_role" 的新角色。这个角色只能执行搜索操作，不能进行写入（write）操作。上面的命令将使用新的 "searchuser" 帐户进行搜索操作，由于该帐户只被授予了 "search_role" 角色，因此只能进行搜索操作，不能进行写入操作。上面的命令将创建一个名为 "search_role" 的新角色，并将其限制为只能读取名为 "index_name" 的索引。的官方文档进行深入学习和了解。
ES添加用户名和密码
热门推荐
Baronstar的博客
09-01 1万+
数据安全很重要，ES数据上线必须加密码，告诉你怎么加用户和密码
Elasticsearch创建安全账户
IT三明治的专栏
04-25 1602
Elasticsearch创建安全账户
elasticsearch 7.9.3知识归纳整理（六）之 kibana图形化操作es指南
m0_37635053的博客
01-05 2193
kibana图形化操作es指南
es docker 部署 elasticsearch.yml
03-19
docker run --name elasticsearch7.16.3 -p 127.0.0.1:9200:9200 -p 127.0.0.1:9300:9300 -e "discovery.type=single-node" -v /Users/xingyue/Home/xingyue/学习/工程化/es/elasticsearch.yml:/usr/share/elastic...
elasticSearch(ES)最新版 ik分词插件7.10 elasticsearch-analysis-ik-7.10.0
11-20
elasticSearch(ES) 最新版ik分词插件7.10 elasticsearch-analysis-ik-7.10.0
es-dedupe:用于从Elasticsearch删除重复文档的工具
05-05
ES重迭 用于删除按某些唯一字段（例如--field Uuid ）分组的重复文档的工具。 删除过程包括两个阶段： 汇总查询查找具有相同field值且至少出现2次的文档。 此类文档的一份副本留在ES中，其他副本则通过批量API删除...
es-operator：用于Elasticsearch的Kubernetes运算符
02-04
ES-Operator已通过Elasticsearch 6.x和7.0测试。 这个怎么运作 该操作员通过管理称为ElasticsearchDataSets （EDS）的自定义资源来工作。 它们基本上是StatefulSets的一个薄包装。 一个EDS代表一组普通的Elastic...
Elasticsearch 的角色和权限管理
互联网知识分享
07-28 3142
的角色和权限管理功能可以实现对用户访问的控制。通过创建角色和权限，可以对中的资源进行授权，通过设置用户认证和访问控制，可以实现对用户访问的限制。在实际应用中，可以根据需要创建不同的角色和权限，来满足系统的安全性和隐私保护需求。
Elasticsearch 用户管理
这个需求，做不了
04-04 2239
这些内置用户存储在一个特殊的.security索引中，该索引由 Elasticsearch 管理。如果内置用户被禁用或其密码发生更改，更改会自动反映在集群中的每个节点上。但是，如果你的.security索引被删除或从快照恢复，你应用的任何更改都将丢失。
linux elasticsearch安装以及设置安全权限账号跟密码
qq_44844714的博客
05-17 4387
Linux环境下安装Elasticsearch下载安装以及设置安全权限账号跟密码
Elasticsearch es Mapping
05-26
Elasticsearch Mapping 是指索引（index）中的字段映射（mapping），它定义了文档中每个字段的数据类型和如何存储数据。Mapping 是 Elasticsearch 中非常重要的概念，因为它定义了如何解析和索引文档。 在 Elasticsearch 中，Mapping 分为两种类型：静态 Mapping 和动态 Mapping。 静态 Mapping 是在创建索引时定义的，它指定了所有字段的数据类型和属性。一旦创建了索引，静态 Mapping 就不能再更改。如果想要更改 Mapping，就需要重新创建索引，这会导致数据丢失。 动态 Mapping 是在索引文档时自动创建的，它会根据文档中的字段自动推断数据类型和属性。如果 Elasticsearch 发现一个新的字段，它会自动将其添加到 Mapping 中，并根据字段的数据类型进行设置。 Mapping 有助于优化搜索性能和提高搜索准确性。正确定义 Mapping 可以使 Elasticsearch 更好地理解文档中的数据，从而更好地执行搜索操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值