全文检索服务器ElasticSearch

最新推荐文章于 2024-08-22 22:48:15 发布

一直下雨天

最新推荐文章于 2024-08-22 22:48:15 发布

阅读量130

点赞数

文章标签： elasticsearch 全文检索服务器

本文链接：https://blog.csdn.net/m0_53443745/article/details/127541964

版权

全文检索服务器ElasticSearch

一.ElasticSearch 介绍

1.1.为什么要用ElasticSearch？

当我们访问购物网站的时候，我们可以根据我们随意所想的内容输入关键字就可以查询出相关的内容，这是怎么做到呢？这些随意的数据不可能是根据数据库的字段查询的，那是怎么查询出来的呢，为什么千奇百怪的关键字都可以查询出来呢？
答案就是全文检索服务，ElasticSearch是一个基于Lucene的全文检索服务器，而lucene采用了词元匹配方案。举个例子：北京天安门----Lucene切分词：北京天安门等等这些词元，当我们搜索的时候这些词元都可以检索到北京天安门。

1.2.ElasticSearch介绍

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个基于RESTful web接口的分布式全文搜索引擎。ElasticSearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。ElasticSearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。根据DB-Engines的排名显示，ElasticSearch是最受欢迎的企业搜索引擎，其次是Apache Solr（也是基Lucene）。

总结：

1、elasticsearch是一个基于Lucene的分布式全文检索服务器。

2、elasticsearch隐藏了Lucene的复杂性，对外提供Restful 接口来操作索引、搜索。

es和solr选择哪个？

1.如果你公司现在用的solr可以满足需求就不要换了。

2.如果你公司准备进行全文检索项目的开发，建议优先考虑elasticsearch，因为像Github这样大规模的搜索都在用它。

1.3原理与应用

1.3.1.索引结构

下图是ElasticSearch的索引结构，右边黑蓝色色部分是原始文档，左边黄色部分是逻辑结构，逻辑结构也是为了更好的去描述ElasticSearch的工作原理及去使用物理结构中的索引文件。

在这里插入图片描述

1.3.2.正排索引

查字典从第一页开始找，直到找到为止(文档---->关键字)。

1.3.2.倒排索引

倒排索引（Inverted index）:也常被称为反向索引，倒排索引是从关键字到文档的映射（已知关键字求文档,关键字----->文档）。

逻辑结构部分是一个倒排索引表，由三部分组成：

1、将搜索的文档最终以Document方式存储起来。

2、将要搜索的文档内容分词，所有不重复的词组成分词列表。

3、每个分词和docment都有关联。

倒排索引表组成：

document
           
term-------------------------->doucment

term

分词列表的特点：
1、不重复
2、不搜索的filed不参加分词
3、“的、地、得”语气词不参加分词

如下：

请添加图片描述

现在，如果我们想搜索包含quick brown词条的文档：

在这里插入图片描述

两个文档都匹配，但是第一个文档比第二个匹配度更高。如果我们使用仅计算匹配词条数量的简单相似性算法，那么，我们可以说，对于我们查询的相关性来讲，第一个文档比第二个文档更佳。

二.安装 ElasticSearch

2.1.环境需求

1、jdk必须是jdk1.8.0_131以上版本。

2、ElasticSearch 需要至少4096 的线程池和 262144字节以上空间的虚拟内存才能正常启动，所以需要为虚拟机分配至少1.5G以上的内存

3、从5.0开始，ElasticSearch 安全级别提高了，不允许采用root帐号启动

4、Elasticsearch的插件要求至少centos的内核要3.5以上版本

2.2.安装ES

2.2.1.下载

ElasticSearch官网：https://www.elastic.co/cn/

2.2.2.设置虚拟机内存

在这里插入图片描述

2.2.3.创建用户

从5.0开始，ElasticSearch 安全级别提高了，不允许采用root帐号启动，所以我们要添加一个用户。

1.创建elk 用户组

groupadd elk

2.创建用户admin

useradd admin
passwd admin

3.将admin用户添加到elk组

usermod -G elk admin

5.为用户分配权限

#chown将指定文件的拥有者改为指定的用户或组 -R处理指定目录以及其子目录下的所有文件
chown -R admin:elk /usr/upload
chown -R admin:elk /usr/local

切换用户：

su admin

2.2.4.解压与安装

ES是Java开发的应用，解压即安装：

cd /usr/upload
tar -zxvf elasticsearch-6.2.3.tar.gz -C /usr/local

2.2.5.ES目录结构

bin 目录：可执行文件包
config 目录：配置相关目录
lib 目录：ES 需要依赖的 jar 包，ES 自开发的 jar 包
logs 目录：日志文件相关目录
modules 目录：功能模块的存放目录，如aggs、reindex、geoip、xpack、eval
plugins 目录：插件目录包，三方插件或自主开发插件
data 目录：在 ES 启动后，会自动创建的目录，内部保存 ES 运行过程中需要保存的数据。

2.3.配置文件

ES安装目录config中配置文件如下：

elasticsearch.yml：用于配置Elasticsearch运行参数

jvm.options：用于配置Elasticsearch JVM设置

log4j2.properties：用于配置Elasticsearch日志

2.3.1.修改elasticsearch.yml

vim /usr/local/elasticsearch-6.2.3/config/elasticsearch.yml

本项目配置如下：

cluster.name: power_shop
node.name: power_shop_node_1
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
discovery.zen.ping.unicast.hosts: ["0.0.0.0:9300", "0.0.0.0:9301"]
path.data: /usr/local/elasticsearch-6.2.3/data
path.logs: /usr/local/elasticsearch-6.2.3/logs
http.cors.enabled: true
http.cors.allow-origin: /.*/

注意意path.data和path.logs路径配置正确。

常用的配置项如下：

cluster.name:
       配置elasticsearch的集群名称，默认是elasticsearch。建议修改成一个有意义的名称。   
node.name:
      节点名，通常一台物理服务器就是一个节点，es会默认随机指定一个名字，建议指定一个有意义的名称，方便管理一个或多个节点组成一个cluster集群，集群是一个逻辑的概念，节点是物理概念，后边章节会详细介绍。
path.data:
       设置索引数据的存储路径，默认是es_home下的data文件夹，可以设置多个存储路径，用逗号隔开。      
path.logs:
       设置日志文件的存储路径，默认是es_home下的logs文件夹         
network.host:  
       设置绑定主机的ip地址，设置为0.0.0.0表示绑定任何ip，允许外网访问，生产环境建议设置为具体的ip。   
http.port: 9200
       设置对外服务的http端口，默认为9200。      
transport.tcp.port: 9300 
       集群结点之间通信端口      
discovery.zen.ping.unicast.hosts:[“host1:port”, “host2:port”, “…”]  
       设置集群中master节点的初始列表。
discovery.zen.ping.timeout: 3s  
       设置ES自动发现节点连接超时的时间，默认为3秒，如果网络延迟高可设置大些。
http.cors.enabled：
	   是否支持跨域，默认为false
http.cors.allow-origin：
	   当设置允许跨域，默认为*,表示支持所有域名

2.3.2.修改 jvm.options

设置最小及最大的JVM堆内存大小：

在jvm.options中设置 -Xms和-Xmx：

1）两个值设置为相等

2）将Xmx 设置为不超过物理内存的一半。

默认内存占用太多了，我们调小一些：

vim /usr/local/elasticsearch-6.2.3/config/jvm.options：
	-Xms512m
	-Xmx512m

2.3.3.修改文件创建权限

[1]: max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]

Linux 默认来说，一般限制应用最多创建的文件是 4096个。但是 ES 至少需要 65536 的文件创建权限。我们用的是admin用户，而不是root，所以文件权限不足。

使用root用户修改配置文件:

su root
vim /etc/security/limits.conf

追加下面的内容：

* soft nofile 65536
* hard nofile 65536

2.3.4.修改虚拟内存大小

[3]: max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

ES 需要开辟一个 262144字节以上空间的虚拟内存。Linux 默认不允许任何用户和应用直接开辟虚拟内存。

su root
vim /etc/sysctl.conf

追加下面内容：

vm.max_map_count=655360 #限制一个进程可以拥有的VMA(虚拟内存区域)的数量

然后执行命令，让sysctl.conf配置生效：

sysctl -p

2.3.5解决内核问题

在这里插入图片描述

我们使用的是centos6，其linux内核版本为2.6。而Elasticsearch的插件要求至少3.5以上版本。不过没关系，我们禁用这个插件即可。

修改elasticsearch.yml文件，在最下面添加如下配置：

bootstrap.system_call_filter: false

2.3.6.解决线程开启限制问题

[2]: max number of threads [1024] for user [admin] is too low, increase to at least [4096]

默认的 Linux 限制 root 用户开启的进程可以开启任意数量的线程，其他用户开启的进程可以开启1024 个线程。必须修改限制数为4096+。因为 ES 至少需要 4096 的线程池预备。

如果虚拟机的内存是 1G，最多只能开启 3000+个线程数。至少为虚拟机分配 1.5G 以上的内存。

使用root用户修改配置：

vim /etc/security/limits.d/90-nproc.conf

修改下面的内容：

* soft nproc 1024

改为：

* soft nproc 4096

2.4.启动ES

2.4.1.启动和关闭

1、启动

cd /usr/local/elasticsearch-6.2.3/bin
	./elasticsearch
	#或
	./elasticsearch -d

2、关闭

ps-ef|grep elasticsearch

kill -9 pid

2.5.测试

ES 中只要启动了任意一个 ES 应用就是启动了一个 ES的 cluster 集群。默认的 ES集群命名为 elasticsearch。如果启动了多个应用（可以在多个节点或单一节点上启动多个应用），默认的ES 会自动找集群做加入集群的过程。

浏览器访问：http://192.168.19.136:9200

返回结果如下：

{
  "name" : "power_shop_node_1", # node name 结点名称。随机分配的结点名称
  "cluster_name" : "power_shop", # cluster name 集群名称。 默认的集群名称
  "cluster_uuid" : "RqHaIiYjSoOyrTGq3ggCOA", # 集群唯一 ID
  "version" : {
    "number" : "6.2.3", #版本号
    "build_hash" : "c59ff00", 
    "build_date" : "2018-03-13T10:06:29.741383Z",#发布日期
    "build_snapshot" : false,#是否快照版本
    "lucene_version" : "7.2.1",#lucene版本号
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

三、es入门

3.1.index管理

a、创建index

PUT /java2204
            {
              "settings": {
                "number_of_shards": 2, #主分片数量，提高处理能力
                "number_of_replicas": 0 #备份分片数量，提高可用性
              }
            }

注意：一台服务器时，备份分片的数量必须设置为0，因为主备在同一台服务器上没有意义

b、删除index

DELETE /java2204

c、修改index

PUT /java2204/_setting
{
   "number_of_replicas": 1
}

注意：index一旦创建，主分片数量不可修改，因为：GET时—>hash(id)%number_of_shard

3.2.mapping管理

创建mapping

POST /java2204/course/_mapping
{
  "properties": {
     "name":{
       "type": "text"
    }
  }
}

3.3.document管理

a、新增document

POST /java2204/course/1
{
   "name":"python从入门到放弃",
   "description":"人生苦短，我用Python",
   "studymodel":"201002"
}

b、修改document

PUT /java2204/course/1
{
  "name":"java从入门到放弃",
  "description":"人生苦短，我用java",
  "studymodel":"201111"
}

c、删除document

DELETE /java2204/course/1

d、查询document

GET /java2204/course/1

一直下雨天

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫