Elasticsearch

最新推荐文章于 2024-08-26 14:13:41 发布
最新推荐文章于 2024-08-26 14:13:41 发布
阅读量195 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45367149/article/details/103393222
版权

1. 介绍

  • 什么是全文检索和Lucene?

    基于java环境,基于Lucene之上包装一层外壳
Lucene是一个java的搜索引擎库,操作非常繁琐

  • 应用场景

    1.搜索: 电商,百科
2.高亮显示: github 
3.分析和数据挖掘: ELk

2. 安装部署

1.下载软件
mkdir /data/soft
上传
elasticsearch-6.6.0.rpm
jdk-8u102-linux-x64.rpm
2.安装jdk
rpm -ivh jdk-8u102-linux-x64.rpm 
java -version
3.安装ES
rpm -ivh elasticsearch-6.6.0.rpm
4.启动
systemctl daemon-reload
systemctl enable elasticsearch.service
systemctl start elasticsearch.service
5. 检查
netstat -lntup|grep 9200
curl 127.0.0.1:9200

3. 配置以及内存锁定

1.查看ES有哪些配置 
[root@db01 ~]# rpm -qc elasticsearch 	
/etc/elasticsearch/elasticsearch.yml		#主配置文件
/etc/elasticsearch/jvm.options				#JVM虚拟机配置 
/etc/init.d/elasticsearch					#init启动文件
/etc/sysconfig/elasticsearch				#环境变量相关配置
/usr/lib/sysctl.d/elasticsearch.conf		#环境变量相关配置
/usr/lib/systemd/system/elasticsearch.service	#systemc启动文件
2.自定义配置文件
[root@db01 ~]# grep "^[a-z]" /etc/elasticsearch/elasticsearch.yml 
node.name: node-1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 10.0.0.51,127.0.0.1
http.port: 9200
3.重启服务后发现报错
systemctl restart elasticsearch 
4.解决内存锁定失败:
查看日志发现提示内存锁定失败
tail -f /var/log/elasticsearch/elasticsearch.log 
[2019-12-04T10:27:42,136][ERROR][o.e.b.Bootstrap          ] [node-1] node validation exception
[1] bootstrap checks failed
[1]: memory locking requested for elasticsearch process but memory is not locked
解决方案:
systemctl edit elasticsearch  
[Service]
LimitMEMLOCK=infinity
检查
systemctl daemon-reload
systemctl restart elasticsearch

官方解决方案
https://www.elastic.co/guide/en/elasticsearch/reference/6.6/_memory_lock_check.html
https://www.elastic.co/guide/en/elasticsearch/reference/6.6/setting-system-settings.html#systemd

4. 交互方式

  • 三种交互方式

    curl命令：
	最繁琐
    最复杂
	最容易出错
	不需要安装任何软件，只需要有curl命令
es-head插件:
	查看数据方便
	操作相对容易
	需要node环境
kibana:
    查看数据以及报表格式丰富
    操作很简单
    需要java环境和安装配置kibana

  • es-head插件安装

    es-head 三种方式:
1.npm安装方式
- 需要nodejs环境
- 需要连接国外源
2.docker安装
3.google浏览器插件     --> 推荐使用简单方便
- 修改文件名为zip后缀
- 解压目录
- 拓展程序-开发者模式-打开已解压的目录
- 连接地址修改为ES的IP地址

方式一:
Head插件在5.0以后安装方式发生了改变，需要nodejs环境支持，或者直接使用别人封装好的docker镜像
插件官方地址  https://github.com/mobz/elasticsearch-head
使用docker部署elasticsearch-head
docker pull alivv/elasticsearch-head
docker run --name es-head -p 9100:9100 -dit elivv/elasticsearch-head
方式二:
使用nodejs编译安装elasticsearch-head
cd /opt/ 
wget https://nodejs.org/dist/v12.13.0/node-v12.13.0-linux-x64.tar.xz
tar xf node-v12.13.0-linux-x64.tar.xz
ln -s node-v12.13.0-linux-x64 node
echo "export PATH=/opt/node/bin:\$PATH" >> /etc/profile
source /etc/profile
npm -v
node -v 
npm install -g cnpm --registry=https://registry.npm.taobao.org
cd /opt/
git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head/
cnpm install
cnpm run start
修改ES配置文件支持跨域
http.cors.enabled: true 
http.cors.allow-origin: "*"
方式三:
1.安装kibana
rpm -ivh kibana-6.6.0-x86_64.rpm
2.配置kibana
[root@db01 ~]# egrep "^[a-Z]" /etc/kibana/kibana.yml 
server.port: 5601
server.host: "10.0.0.51"
elasticsearch.hosts: ["http://localhost:9200"]
kibana.index: ".kibana"
3.启动kibana
systemctl start kibana
4.操作ES
Dev Tools 

关键词:
1.Lucene
2.java
3.全文检索
4.倒排索引

5. 简单增删改查

##创建索引
PUT index
##插入数据
1.使用自定义的ID 
PUT oldzhang/info/1
{
 "name": "zhang",
 "age": "29"
}
2.使用随机ID
POST oldzhang/info/
{
  "name": "zhang",
  "age": "29",
  "pet": "xiaoqi"
}
##查询数据
1.简单查询
GET /oldzhang/_search
GET /oldzhang/_search/1
2.单个条件查询
GET /oldzhang/_search
{
	 "query" : {
   	 "term" : { "job" : "it" }
  }
}
3.多个条件查询
GET /oldzhang/_search
{
  "query" : {
 	   "bool": {
   	   "must": [
     	   {"match": {"pet": "xiao10"}},
      {"match": {"name": "ya"}}
  ],
  "filter": {
    "range": {
      "age": {
        "gte": 27,
        "lte": 30
      }
    }
    }
  }
}
}
}
4.查询方式
- curl命令
- es-head 基础查询多个条件
- es-head 左侧字段查询
- kibana dev-tools 命令查询
- kibana 索引查询
##更新数据
GET oldzhang/info/1
PUT oldzhang/info/1
{
  "name": "zhang",
  "age": "30",
  "job": "it"
}
 POST oldzhang/info/1
 {
  "name": "zhang",
  "age": "30",
  "job": "it"
}
##删除数据
1.删除指定ID的数据
DELETE oldzhang/info/1
2.删除符合条件的数据
POST oldzhang/_delete_by_query
{
  "query" : {
  "match":{
  "age":"29"
  }
  }
}
3.删除索引
DELETE oldzhang
4.!!!警告!!!
尽量不要在命令行或者Kibana里删除,因为没有任何警告
建议使用es-head删除
生产环境可以先把索引关闭掉,如果一段时间没人访问了再删除

6. 集群相关名词

1.集群健康状态
绿色: 所有数据都完整,并且副本数满足
黄色: 所有数据都完整,但是有的索引副本数不满足
红色: 有的索引数据不完整
默认创建索引:
5分片
1副本

2.节点类型
主节点:		负责调度数据分配到哪个节点
数据节点: 	负责处理落到自己身上的请求
默认: 		主节点同时也是数据节点

3.数据分片
主分片:		实际存储的数据,负责读写,粗框的是主分片
副本分片:	主分片的副本,提供读,同步主分片,细框的是副本分片

4.副本:
主分片的备份,副本数量可以自定义

5.修改分片和副本的限定条件
- 索引创建的时候可以指定分片数和副本数
- 索引一旦创建成功,分片数就不能修改了,但是可以调整副本数

7. 集群部署

0.从db01拉取数据
mkdir /data/soft
cd /data/soft
rsync -avz 10.0.0.51:/data/soft/* .
1.安装java
rpm -ivh jdk-8u102-linux-x64.rpm
2.安装ES
rpm -ivh elasticsearch-6.6.0.rpm
3.配置ES配置文件
配置内存锁定:
systemctl edit elasticsearch.service
[Service]
LimitMEMLOCK=infinity
systemctl daemon-reload 
集群配置文件:
b01配置文件:
cat >/etc/elasticsearch/elasticsearch.yml <<EOF
cluster.name: linuxNB
node.name: node-1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 10.0.0.51,127.0.0.1
http.port: 9200
discovery.zen.ping.unicast.hosts: ["10.0.0.51", "10.0.0.52"]
discovery.zen.minimum_master_nodes: 1
EOF
==================================================================
db02配置文件:
cat >/etc/elasticsearch/elasticsearch.yml <<EOF
cluster.name: linuxNB
node.name: node-2
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 10.0.0.52,127.0.0.1
http.port: 9200
discovery.zen.ping.unicast.hosts: ["10.0.0.51", "10.0.0.52"]
discovery.zen.minimum_master_nodes: 1
EOF
4.2台机器都重新启动es
systemctl restart elasticsearch.service
5.查看日志
tail -f /var/log/elasticsearch/linuxNB.log

8. 集群相关问题

  • 节点说明:

    1.插入和读取数据在任意节点都可以执行,效果一样
2.es-head可以连接集群内任一台服务
3.主节点负责读写
如果主分片所在的节点坏掉了,副本分片会升为主分片
4.主节点负责调度
如果主节点坏掉了,数据节点会自动升为主节点

  • 查看集群各种信息:

    GET _cat/nodes        当前集群的拓扑结构
GET _cat/health       集群健康状态
GET _cat/master       主节点信息
GET _cat/fielddata    集群中每个节点中fileddata所使用的堆内存  
GET _cat/indices      索引信息
GET _cat/shards       分片信息
GET _cat/shards/oldzhang    指定查看索引分片信息

  • 集群注意事项:

    注意1:发现节点参数不需要把集群内所有的机器IP都加上
只需要包含集群内任意一个IP和自己的IP就可以
discovery.zen.ping.unicast.hosts: ["10.0.0.51","10.0.0.53"]

注意2: 集群选举相关的参数需要设置为集群节点数的大多数
discovery.zen.minimum_master_nodes: 2

注意3: 默认创建索引为1副本5分片

注意4: 数据分配的时候会出现2中颜色
紫色: 正在迁移
黄色: 正在复制
绿色: 正常

注意5: 3节点的时候
0副本一台都不能坏 
1副本的极限情况下可以坏2台: 1台1台的坏,不能同时坏2台
2副本的情况可以同时坏2台

  • 自定义副本分片和索引

    索引为2副本3分片
索引为0副本5分片
注意:
索引一旦建立完成,分片数就不可以修改了
但是副本数可以随时修改
命令:
1.创建索引的时候就自定义副本和分片
PUT /yaya/
{
 "settings": {
 "number_of_shards": 3, 
 "number_of_replicas": 0
 }
}
2.修改单个索引的副本数
PUT /yaya/_settings/
{
  "settings": {
  "number_of_replicas": 0
 }
}
3.修改所有的索引的副本数
PUT /_all/_settings/
{
 "settings": {
 "number_of_replicas": 0
 }
}
工作如何设置:
2个节点: 默认就可以 
3个节点: 重要的数据,2副本 不重要的默认 
日志收集: 1副本3分片

  • 监控:

    监控注意,不能只监控集群状态
1.监控节点数
2.监控集群状态
3.2者任意一个发生改变了都报警
监控命令: 
curl -s 10.0.0.52:9200/_cat/nodes
curl -s 10.0.0.52:9200/_cat/health

  • 增强插件x-pack监控功能

    monitoring-->点一下蓝色图标

  • 优化:

    1.内存 
不要超过32G

加SSD固态硬盘

9. 备份恢复

前提条件: 必须要有Node环境和npm软件

1.nodejs环境安装
https://nodejs.org/dist/v10.16.3/node-v10.16.3-linux-x64.tar.xz
tar xf  node-v10.16.3-linux-x64.tar.xz -C /opt/node
vim /etc/profile
export PATH=/opt/node/bin:$PATH
source /etc/profile
node -v
npm -v
2.指定使用国内淘宝npm源
npm install -g cnpm --registry=https://registry.npm.taobao.org
3.安装es-dump
cnpm install elasticdump -g
4.备份命令
elasticdump \
 --input=http://10.0.0.51:9200/oldzhang \
 --output=/data/oldzhang.json \
 --type=data
压缩备份
elasticdump \
 --input=http://10.0.0.51:9200/oldzhang \
 --output=$|gzip > /data/oldzhang.json.gz  
5.恢复命令 
elasticdump \
 --input=/data/oldzhang.json \
 --output=http://10.0.0.51:9200/oldzhang
6.注意
恢复的时候需要先解压缩成json格式 
恢复的时候,如果已经存在相同的数据,会被覆盖掉
如果新增加的数据,则不影响,继续保留

10. 中文分词

分词配置
注意!如果是ES集群,所有的节点都要安装,所有的节点安装完毕之后都要重启

1.配置中文分词器
cd /usr/share/elasticsearch
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.6.0/elasticsearch-analysis-ik-6.6.0.zip
2.重启所有ES节点
systemctl restart elasticsearch
3.创建索引 
PUT /news
4.创建模板
POST /news/text/_mapping
{
    	"properties": {
       	 "content": {
            	"type": "text",
           	 "analyzer": "ik_max_word",
           	 "search_analyzer": "ik_smart"
      	  }
   	 }

}
5.插入测试数据
POST /news/text/1
{"content":"美国留给伊拉克的是个烂摊子吗"}
POST /news/text/2
{"content":"公安部：各地校车将享最高路权"}
POST /news/text/3
{"content":"中韩渔警冲突调查：韩警平均每天扣1艘中国渔船"}
POST /news/text/4
{"content":"中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"}
6.再次查询数据发现已经能识别中文了
POST /news/_search
{
  "query" : { "match" : { "content" : "中国" }},
    "highlight" : {
        "pre_tags" : ["<tag1>", "<tag2>"],
   	 "post_tags" : ["</tag1>", "</tag2>"],
        "fields" : {
      	  "content" : {}
  	  }
  }
}


####热更新词典
所有ES节点都操作
https://github.com/medcl/elasticsearch-analysis-ik
1.安装nginx
2.配置分词器配置文件,增加远程地址
3.重启所有的ES节点
4.重新更新数据让分词生效
飞鸡起飞
关注
Elasticsearch Date类型数据默认格式：将数据写入es的时间后再读取出来缺少8小时原因
AI_girls的博客
06-26 3万+
一、问题描述把想要的数据通过同步工具从MySQL中写入es中存储，然后从搜索后台管理系统读取数据列表，发现时间显示比数据库中显示的时间要提前8小时。二、问题分析首先在索引里面查看了时间数据的存储格式为世界时间，默认是0时区，但是我们一般用的是北京时间东八区，因此间隔了八小时。直接转过来的时间是：但实际上数据库里面存储的时间是：我们需要最终显示的是时间是和存在数据库中的北京时间一致。搜索的数据来源于...
es-head Elasticsearch的可视化操作插件
12-19
es-head是一个针对Elasticsearch的可视化操作插件。它提供了一个便捷的操作工具，可以连接Elasticsearch搜索引擎，并提供可视化的操作页面，对Elasticsearch进行各种设置和数据检索功能的管理。 es-head 插件可以在...
新版elasticsearch的插件安装
weixin_30633405的博客
01-18 106
笔者Q:972581034 交流群：605799367。有任何疑问可与笔者或加群交流 安装 yum localinstall elasticsearch-6.1.1.rpm -y mkdir -p /elk/{data,logs} && chown -R elasticsearch.elasticsearch /elk 配置 grep '^[a-Z]' /etc/elasticse...
elastic 6.3 +es权威指南+安装+python3操作es
大数据和机器学习研究
07-18 2021
1. elastic search     1.1 官网 https://www.elastic.co/cn/products     1.2 书 《Elasticsearch: 权威指南》 https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 2. Elasticsearch: 权威指南     2.1 对...
【Elasticsearch】Elasticsearch的分片和副本机制
热门推荐
屿小夏.的知识博客
07-15 7万+
Elasticsearch是一种分布式搜索和分析引擎，它具有高扩展性和高可用性。为了实现这些特性，Elasticsearch引入了分片（Shard）和副本（Replica）的概念。本文将详细介绍Elasticsearch中的分片和副本机制，帮助读者理解它们的重要性及其实现方法。分片是Elasticsearch中存储数据的基本单位。一个索引可以由多个分片组成，每个分片都是一个独立的Lucene索引。通过分片，Elasticsearch可以将数据分布到多个节点上，从而实现数据的分布式存储和并行处理。
【elasticsearch】linux环境搭建ES
weixin_38313819的博客
03-06 1924
修改系统中允许用户启动的进程开启多少个线程。默认的Linux限制root用户开启的进程可以开启任意数量的线程，其他用户开启的进程可以开启1024个线程。4.x版本的内核分配的内存更大。如果虚拟机的内存是1G，最多只能开启3000+个线程数。Elasticsearch 7.x 系列推荐使用 JDK 8 或 JDK 11，而更高版本的 Elasticsearch 可能会要求更新的 Java 版本。指定ES_HEAP_SIZE环境变量，服务进程在启动时候会读取这个变量，并相应的设置堆的大小。
Elasticsearch环境搭建|ES单机|ES单节点模式启动|ES集群搭建|ES集群环境搭建
浣花御劍
06-27 3556
ES单节点模式 | ES集群环境搭建
Docker安装ES详解(elasticsearch)
cmh1008611的博客
08-26 2787
注:最小安装要使用wget命令 需要先安装wget。:这个命令是使用yum源安装,请确保已安装yum源。注:如果是本地安装的虚拟机,就不需要执行。(1)服务器ip + 9200 结果。(2)服务器ip + 5601 结果。//检查是否安装yum源。的虚拟机,就不需要执行。
Elasticsearch——使用Java API实现ES中的索引、映射、文档操作
★★光亭★★
08-26 2万+
Elasticsearch——使用Java API实现ES中的索引、映射、文档操作
ElasticSearch之ES8新特性及集群安装
scorpio的博客
09-18 9505
ElasticSearch之ES8新特性及集群安装
【elastic search】JAVA操作elastic search
Joker_ZJN的博客
01-11 8347
聊一下如何使用JAVA来操作es，如何和spring boot集成。
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端
06-20
Elasticsearch（简称ES）是一款强大的开源搜索引擎，广泛应用于数据检索、分析和管理。作为分布式、RESTful风格的搜索和数据分析引擎，Elasticsearch能够提供实时、高可用性以及可扩展的搜索功能。在进行日常的数据...
ES客户端+谷歌浏览器插件+Multi-Elasticsearch-Head
06-30
多弹性搜索头，对著名的 Elasticsearch Head 的改进 1.保存和存储几个Elasticsearch端点 2.索引选项卡中的更多列 3. 任何请求现在都可以像 /_cat/indices 一样处理 JSON 返回 4. 更简约的外观（更小的字体等...） ...
ES查询客户端，elasticsearch可视化工具
06-24
elasticsearch的客户端比较出名的就是elasticsearch head 和Kibana了， 但是elasticsearch head已经停止更新，且样式老旧，功能不全； 而Kibana虽功能全面，但是启动麻烦，大部分功能用不上，很不灵活，所以采用vite...
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战)
04-18
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战),包含了小狂神讲的东西，特别适合新手学习，笔记保存下来可以多看看。好记性不如烂笔头哦~，ElasticSearch，简称es，es是一个...
基于java的智能卤菜销售平台答辩PPT.pptx
最新发布
11-04
基于java的智能卤菜销售平台答辩PPT.pptx
Jira插件安装包custom-charts-jira-server
11-04
Jira插件安装包custom-charts-jira-server
安装与激活、靶场环境部署、扫描Web应用程序、扫描报告分析、Goby+AWVS联动
11-04
安装与激活 内容概要：详细介绍相关软件（如 Goby、AWVS 等）的安装步骤，包括从官方网站下载合适版本、检查系统兼容性、安装过程中的注意事项等。对于激活部分，讲解合法获取激活码或许可证的途径，以及激活过程中可能遇到的问题及解决方案。 适用人群：网络安全初学者、渗透测试工程师、安全运维人员等需要使用这些工具进行安全评估的人员。 使用场景和目标：在新搭建的测试环境或个人工作环境中，确保软件能正确安装和激活，为后续的安全评估工作做好准备。目标是使软件稳定运行，避免因安装或激活问题导致工作受阻。 靶场环境部署 内容概要：阐述靶场环境搭建的流程，包括选择合适的靶场平台（如 DVWA、WebGoat 等），安装和配置所需的操作系统、Web 服务器、数据库等组件，设置不同难度级别的漏洞场景。 适用人群：网络安全学习者用于实践练习，渗透测试培训讲师用于教学，安全研究人员用于新漏洞研究。 使用场景和目标：在安全培训、自我技能提升、新漏洞验证等场景下，搭建与真实环境相似的靶场，目标是模拟各种安全场景，帮助使用者熟悉漏洞利用和防御方法。 扫描 Web 应用程序 内容概要：讲解使用 Goby 和 AWVS
基于STM32的7路传感器三轮循迹小车源码+文档说明（高分毕设）
11-04
基于STM32的7路传感器三轮循迹小车源码+文档说明（高分毕设），含有代码注释，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，毕业设计、期末大作业和课程设计高分必看，下载下来，简单部署，就可以使用。该项目可以直接作为毕设、期末大作业使用，代码都在里面，系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值，项目都经过严格调试，确保可以运行！ 基于STM32的7路传感器三轮循迹小车源码+文档说明（高分毕设）基于STM32的7路传感器三轮循迹小车源码+文档说明（高分毕设）基于STM32的7路传感器三轮循迹小车源码+文档说明（高分毕设）基于STM32的7路传感器三轮循迹小车源码+文档说明（高分毕设）基于STM32的7路传感器三轮循迹小车源码+文档说明（高分毕设）基于STM32的7路传感器三轮循迹小车源码+文档说明（高分毕设）基于STM32的7路传感器三轮循迹小车源码+文档说明（高分毕设）基于STM32的7路传感器三轮循迹小车源码+文档说明（高分毕设）基于STM32的7路传感器三轮循迹小车源码+文档说明（高分毕设）基于STM32的7路传感器三轮循迹小车源码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值