Elasticsearch安装与使用

最新推荐文章于 2024-04-29 16:34:45 发布
最新推荐文章于 2024-04-29 16:34:45 发布
阅读量145 收藏
点赞数
分类专栏： 分布框架 文章标签： 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q260996583/article/details/116532838
版权

ELK简介

什么是倒排索引

正常安装

docker安装集群ES

安装常见异常

安装Kibana

ES小玩儿

    加IK分词器

    ES支持拼音和中文分词

    ES基本操作



ELK简介

Elasticsearch (ES)是一个基于Lucene构建的开源、分布式、RESTful 接口全文搜索引擎。Elasticsearch 还是一个分布式文档数据库，其中每个字段均是被索引的数据且可被搜索，它能够扩展至数以百计的服务器存储以及处理PB级的数据。它可以在很短的时间内在储、搜索和分析大量的数据。它通常作为具有复杂搜索场景情况下的核心发动机。 Elasticsearch就是为高可用和可扩展而生的。可以通过购置性能更强的服务器来完成。ELK采用的是合拢索引方式

什么是倒排索引

正排索引从头查到尾 倒排索引分词后，记录每个文档出现过当前分词的序号，查询文档

正排索引是从文档到关键字的映射（已知文档求关键字），倒排索引是从关键字到文档的映射（已知关键字求文档）。
文档内容:
序号 文档内容
1 小俊是一家科技公司创始人，开的汽车是奥迪a8l，加速爽。
2 小薇是一家科技公司的前台，开的汽车是保时捷911
3 小红买了小薇的保时捷911，加速爽。
4 小明是一家科技公司开发主管，开的汽车是奥迪a6l,加速爽。
5 小军是一家科技公司开发，开的汽车是比亚迪速锐，加速有点慢

倒排索引会对以上文档内容进行关键词分词，可以使用关键词直接定位到文档内容。

单词ID单词倒排列表docId
1小1,2,3,4,5
2一家1,2,4,5
3科技公司1,2,4,5
4开发4,5
5汽车1,2,4,5
6奥迪1,4
7加速爽1,3,4
8保时捷2,3
9保时捷9112
10比亚迪5

从上表可以看出，每个单词在哪些文档中出现。假设查询“科技公司”，将1245条文档内容返回
一些面试题：
9200:提供给界面RESTFUL调用
9300:集群端口号(TCP协议)
ES乐观索 version CAS控制
每次更改version都会加1

我们在Linux下 Ubuntu 18.04 64位

安装JDK

正常安装

1、上传elasticsearch-6.4.3 配置 elasticsearch.yml
vi elasticsearch.yml 
#本机IP
network.host: 192.168.0.1  
#协议端口号
http.port: 9200 外部

启动
创建一个分组

修改虚拟内存
vi /etc/sysctl.conf 添加如下内容

vm.max_map_count=655360

sysctl -p 查询一下变化

再修改文件，在后面加四行
vi /etc/security/limits.conf

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

groupadd esmayikt
useradd esyushengjun -g esmayikt -p 123456
chown -R esyushengjun:esmayikt  elasticsearch-6.4.3
su esyushengjun #切换用户

重启服务器即可
./elasticsearch

在这里插入图片描述


docker安装

安装 docker
拉elasticsearch镜像 
docker pull elasticsearch:6.8.15

cd /usr/local
mkdir -p es/config
cd es
mkdir data1
mkdir data2
mkdir data3
mkdir  plugins1
mkdir  plugins2
chmod 777 /usr/local/es/*

在es/config分别放入es1.yml、es2.yml
es1.yml

cluster.name: elasticsearch-cluster  #三台必需一致
node.name: es-node1                      #三台不一致
network.bind_host: 0.0.0.0
network.publish_host: 172.17.0.3      #本机ip
http.port: 9200                                    #三台不一致
transport.tcp.port: 9300                      #三台不一致
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true
node.data: true
discovery.zen.ping.unicast.hosts: ["172.17.0.3:9300","172.17.0.3:9301"]    #所有集群点
discovery.zen.minimum_master_nodes: 1

es2.yml

cluster.name: elasticsearch-cluster  #三台必需一致
node.name: es-node1                      #三台不一致
network.bind_host: 0.0.0.0
network.publish_host: 172.17.0.3      #本机ip
http.port: 9201                                    #三台不一致
transport.tcp.port: 9301                      #三台不一致
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true
node.data: true
discovery.zen.ping.unicast.hosts: ["172.17.0.3:9300","172.17.0.3:9301"]    #所有集群点
discovery.zen.minimum_master_nodes: 1

在/etc/sysctl.conf文件最后添加一行

vi /etc/sysctl.conf

vm.max_map_count=262144

执行/sbin/sysctl -p 立即生效

启动两台ES

docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d  -p 9200:9200 -p 9300:9300 -p 5601:5601 -v /usr/local/es/config/es1.yml:/usr/share/elasticsearch/config/elasticsearch.yml  -v /usr/local/es/plugins1:/usr/share/elasticsearch/plugins    -v /usr/local/es/data1:/usr/share/elasticsearch/data --name ES01 elasticsearch:6.8.15

docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d  -p 9201:9201 -p 9301:9301 -v /usr/local/es/config/es2.yml:/usr/share/elasticsearch/config/elasticsearch.yml  -v /usr/local/es/plugins2:/usr/share/elasticsearch/plugins    -v /usr/local/es/data2:/usr/share/elasticsearch/data --name ES02 elasticsearch:6.8.15

过两分钟后，测试下是否成功

curl 127.0.0.1:9200

如果是阿里云，外网访问记得打开端口
在这里插入图片描述
在这里插入图片描述
如果没有启动成功，查看下docker日志，参考常见异常解决

docker logs -f -t --tail=100 ES01

安装常见异常

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
或者
bootstrap checks failed max virtual memory areas vm.max_map_count [65530] is
https://blog.csdn.net/xcc_2269861428/article/details/100186654

所有相关文件 chmod 777 *

在/etc/sysctl.conf文件最后添加一行
vm.max_map_count=262144
执行/sbin/sysctl -p 立即生效

之后再起启动就好了

max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

vi /etc/security/limits.conf

  • soft nofile 65536
  • hard nofile 131072
  • soft nproc 2048
  • hard nproc 4096

安装Kibana

ES是没有前端的，Kibana可以作为ES的前端界面 
docker pull kibana:6.8.15

docker run -it -d -e ELASTICSEARCH_URL=http://172.17.0.2:9200 --name kibana --network=container:ES01 kibana:6.8.15

加IK分词器

我们的默认分词器非常不智能。比如阿里，就会被拆分成阿和里。而IK分词会把这些现代常用词进行拆分。

https://github.com/medcl/elasticsearch-analysis-ik/releases
版本一定要正确

将文件解压后放到所有集群的文件夹plugins中

在这里插入图片描述
重启ES


加拼音分词器

我们查询阿里时，有时候我们输入的是ali。而查不到阿里中文。为了更智能，我们加上拼音分词器 https://github.com/medcl/elasticsearch-analysis-pinyin/tags
找到对应的版本

将文件解压后放到所有集群的文件夹plugins中


重启ES

ES支持拼音和中文分词

1.自定义分词器 支持拼音和中文分词 
DELETE  /goods
PUT /goods
{
   "settings": {
        "analysis": {
            "analyzer": {
                "ik_smart_pinyin": {
                    "type": "custom",
                    "tokenizer": "ik_smart",
                    "filter": ["my_pinyin", "word_delimiter"]
                },
                "ik_max_word_pinyin": {
                    "type": "custom",
                    "tokenizer": "ik_max_word",
                    "filter": ["my_pinyin", "word_delimiter"]
                }
            },
            "filter": {
                "my_pinyin": {
                    "type" : "pinyin",
                    "keep_separate_first_letter" : true,
                    "keep_full_pinyin" : true,
                    "keep_original" : true,
                    "limit_first_letter_length" : 16,
                    "lowercase" : true,
                    "remove_duplicated_term" : true 
                }
            }
        }
  }
  
}

重新指定文档类型映射拼音分词类型

POST /goods/_mapping/goods
{
   
  
      "goods": {
        "properties": {
          "@timestamp": {
            "type": "date"
          },
          "@version": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "attribute_list": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "category_id": {
            "type": "long"
          },
          "created_time": {
            "type": "date"
          },
          "detail": {
            "type": "text",
             "analyzer":"ik_smart_pinyin",
            "search_analyzer":"ik_smart_pinyin"

          },
          "id": {
            "type": "long"
          },
          "main_image": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "name": {
            "type": "text",
            "analyzer":"ik_smart_pinyin",
            "search_analyzer":"ik_smart_pinyin"

          },
          "revision": {
            "type": "long"
          },
          "status": {
            "type": "long"
          },
          "sub_images": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "subtitle": {
            "type": "text",
          "analyzer":"ik_smart",
         "search_analyzer":"ik_smart"

          },
          "updated_time": {
            "type": "date"
          }
        }
      }
}

ES基本操作

###创建索引 
PUT /mymayikt
GET /mymayikt

###创建文档 /索引/类型/id

PUT /mymayikt/user/1
{
 “name”:”mayikt”,
“age”:21,
“sex”:0
}
GET /mymayikt/user/1
DELETE /mymayikt

创建类型

PUT /goods
POST /goods/_mapping/goods
{
      "goods": {
        "properties": {
          "@timestamp": {
            "type": "date"
          },
          "@version": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "attribute_list": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "category_id": {
            "type": "long"
          },
          "created_time": {
            "type": "date"
          },
          "detail": {
            "type": "text",
             "analyzer":"ik_smart",
            "search_analyzer":"ik_smart"

          },
          "id": {
            "type": "long"
          },
          "main_image": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "name": {
            "type": "text",
            "analyzer":"ik_smart",
            "search_analyzer":"ik_smart"

          },
          "revision": {
            "type": "long"
          },
          "status": {
            "type": "long"
          },
          "sub_images": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "subtitle": {
            "type": "text",
          "analyzer":"ik_smart",
         "search_analyzer":"ik_smart"

          },
          "updated_time": {
            "type": "date"
          }
        }
      }
}
龙马#
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
全文搜索ElasticSearch的安装
Javashj的博客
08-25 436
​ ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个基于RESTfulweb接口的分布式全文搜索引擎。ElasticSearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。ElasticSearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。根据DB-Engines的排名显示，ElasticSearch是最受欢迎的企业搜索引擎，其次是Apache Solr（也是基Lucene）。
elasticsearch安装和使用
Morganite的博客
12-24 1629
一、elasticsearch简介 官网:https://www.elastic.co/cn/ Elasticsearch 是一个开源的分布式搜索分析引擎,建立在一个全文搜索引擎库 Apache Lucene基础之上。 Elasticsearch 不仅仅是 Lucene,并且也不仅仅只是一个全文搜索引擎: 一个分布式的实时文档存储,每个字段 可以被索引与搜索 一个分布式实时分析搜索引擎 能胜任上百个服务节点的扩展,并支持 PB 级别的结构化或者非结构化数据 它的特点有:分布式,零配置,自动发现,索
Elasticsearch核心知识点大全
qq_42292373的博客
12-06 1076
1.为什么要使用Elasticsearch框架 1.响应时间 MySQL 背景：+ 小刘在做测试时，发现当数据库中的文档数仅仅上万条时，关键词查询就比较慢了。如果一旦到企业级的数据，响应速度就会更加不可接受。 原因： 在数据库做模糊查询时，如LIKE语句，它会遍历整张表，同时进行字符串匹配。 例如，当小刘在数据库查询“市场”时，数据库会在每一条记录去匹配“市场”这两字是否出现。实际上，并不是所有记...
elasticsearch的安装及使用
qq_38220334的博客
09-17 1478
【代码】elasticsearch的安装及使用。
Elasticsearch的安装及使用，这一篇就够了
qq_38055805的博客
02-10 5861
Elasticsearch的安装及使用，这一篇就够了
Elasticsearch的安装和基本使用
2401_83641098的博客
03-25 791
毕竟工作也这么久了 ，除了途虎一轮，也七七八八面试了不少大厂，像阿里、饿了么、美团、滴滴这些面试过程就不一一写在这篇文章上了。我会整理一份详细的面试过程及大家想知道的一些问题细节毕竟工作也这么久了 ，除了途虎一轮，也七七八八面试了不少大厂，像阿里、饿了么、美团、滴滴这些面试过程就不一一写在这篇文章上了。我会整理一份详细的面试过程及大家想知道的一些问题细节。
elasticsearch的安装与使用
辰若月煕的博客
03-24 2886
安装 在官网上下载elasticsearch压缩包,这里是使用的是7.8.0版本的,使用的环境是windows系统. 官网:[https://www.elastic.co/cn/elasticsearch/] 解压缩之后直接启动即可(bin目录下的elasticsearch.bat) 浏览器输入localhost:1001(我这里设置的端口号是1001,可以在config/yml配置文件中修改,默认端口是9200 新建springBoot项目 添加依赖 <!-- es配置开始--&g
es安装与使用
06-22
Elasticsearch (ES) 是一个开源的全文搜索引擎，基于 Apache Lucene 构建，专为大规模数据集提供了高效、可扩展的搜索和分析能力。它不仅限于搜索，还可以用于实时数据分析，支持分布式架构，具备高可用性和容错性。...
elasticsearch安装与配置
08-28
Elasticsearch 安装与配置详细说明 Elasticsearch 是一个基于 Lucene 库的搜索引擎，提供了强大的搜索功能和数据分析能力。今天，我们将详细介绍 Elasticsearch 的安装和配置过程。 一、 Elasticsearch 安装 ...
elasticsearch head的安装及使用过程解析
08-25
### Elasticsearch Head 安装及使用过程解析知识点 #### 1. Elasticsearch Head 简介 Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elastic...
elasticsearch安装及使用教程
07-06
这里提供了elasticsearch安装及使用说明,想学习elasticsearch的可以看看!
Elasticsearch安装和使用
04-10
Elasticsearch安装和使用 Elasticsearch安装和使用 Elasticsearch安装和使用
elasticsearch安装与教程.zip
10-19
**Elasticsearch安装与教程** Elasticsearch（ES）是一种基于Lucene的开源搜索引擎，以其分布式、全文检索、实时分析的特性在IT行业中被广泛应用。它不仅提供了强大的搜索功能，还支持数据分析和可视化，是ELK...
【Elasticsearch】安装配置与使用
最新发布
apollo_miracle的博客
04-29 1971
elasticsearch安装部署
docker安装ES
qq_34160849的博客
10-31 468
docker安装ES
ElasticSearch 介绍和使用
qq_49770372的博客
08-31 480
1.1.为什么要用ElasticSearch？ ​ 当我们访问购物网站的时候，我们可以根据我们随意所想的内容输入关键字就可以查询出相关的内容，这是怎么做到呢？这些随意的数据不可能是根据数据库的字段查询的，那是怎么查询出来的呢，为什么千奇百怪的关键字都可以查询出来呢？​ 答案就是全文检索服务，ElasticSearch是一个基于Lucene的全文检索服务器，而lucene采用了词元匹配方案。举个例子：北京天安门----Lucene切分词：北京 京天 天安 安门 等等这些词元，当我们搜索的时...
Elasticsearch
m0_58380757的博客
08-15 575
Elasticsearch概述
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值