ElasticStack
文章平均质量分 68
ElasticStack
发抖吧小喵喵
这个作者很懒,什么都没留下…
展开
-
ES6升级ES7数据迁移,数据快照
目录一、使用NFS作为存储仓库1、安装nfs2、添加es的repo存放地址3、对nfs进行配置4、添加NFS挂载5、重启2个es服务二、创建快照仓库三、生成快照数据四、在目标es中生成数据五、验证数据查询1、ES6中验证2、ES7验证数据3、结论六、与ES6的不同一、使用NFS作为存储仓库这边测试使用一台机器 源ES:一个ES6存储 目标ES:一个ES7作为读取1、安装nfsyum install nfs-utils -ysystemctl start nfs-utilssystemct原创 2021-01-15 13:37:50 · 2826 阅读 · 1 评论 -
ELK之 MetricBeat监控Kibana的Dashboard各个图表对应生成方式
如有问题欢迎指出,谢谢目录一、添加自定义字段二、监控数据面板展示1、cpu2、load3、memory4、process5、fileSystem6、fsstat附:部分图表查询方式附录1附录2一、添加自定义字段fields: type: system vmId: test123 userId: test123 customerId: test123fields_under_root: true效果如下二、监控数据面板展示图表面板查询首先添加filter过滤查询GET.原创 2020-12-30 11:36:15 · 590 阅读 · 0 评论 -
ES之模糊查询(类似关系型数据库的模糊查询)以及注意问题
使用ES当数据库进行查询的时候模糊查询都是会进行分词的,这边记录一下等价于关系型数据库的like查询1、ES中的索引mapping字符串有Text和Keyword两种格式Text格式的查询会进行先分词在查询keyword则不会分词使用模糊查询可以使用QueryBuilders.wildcardQuery加*通配符进行查询,对于text格式的数据可以指定字段名.keyword进行模糊查询,如下所示boolQuery.filter(QueryBuilders.wildcardQuery("de.原创 2020-12-25 17:31:11 · 6169 阅读 · 0 评论 -
ELK · Logstash的使用
目录四、Logstash1、简介2、功能3、部署安装4、接收filebeat输入的日志a.安装Nginxb.配置Filebeatc.配置Logstashd.配置filtere.logstash grok内置正则过滤规则f.发送到Elasticsearch四、Logstash1、简介2、功能简单来说就是输入-过滤-输出。3、部署安装#检查jdk环境,要求jdk1.8+ java -version #解压安装包 tar -xvf logstash-6.5.4.tar.gz #第一个原创 2020-11-04 00:07:08 · 243 阅读 · 0 评论 -
ELK · Metricbeat的使用
目录三、MetricBeat1、Metricbeat组成2、部署与收集系统指标3、Module4、Redis Module三、MetricBeat1、Metricbeat组成Metricbeat有2部分组成,一部分是Module,另一部分为Metricset。Module收集的对象,如:mysql、redis、操作系统等;Metricset收集指标的集合,如:cpu、memory、network等;2、部署与收集系统指标tar -xvf metricbeat-6.原创 2020-11-04 00:05:19 · 840 阅读 · 0 评论 -
ELK · Filebeat的使用
一、ElasticStack的组成二、FileBeat1、简介beats 是一个免费且开放的平台,集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。这边我们使用beat下面的FileBeat日志采集工具FileBeat轻量型日志采集器当您要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时,请告别 SSH 吧。Filebeat 将为您提供一种轻量型方法,用于转发和汇总日志与文件,让简单的事情不再繁杂原创 2020-11-04 00:02:20 · 939 阅读 · 0 评论 -
ElasticSearch学习笔记(6)· Java操作Elasticsearch7.6.1
目录十一、Java操作ElasticSearch7.6.11、引入maven依赖2、添加配置3、添加实体类4、创建索引5、判断索引是否存在6、删除索引7、添加文档8、判断文档是否存在9、获取文档的信息10、更新文档的信息11、删除文档12、批量插入13、高级查询、高亮十一、Java操作ElasticSearch7.6.11、引入maven依赖<!--这里使用高级客户端,功能更全--><dependency> <groupId>org.elasticsearch.原创 2020-10-30 14:41:33 · 1621 阅读 · 0 评论 -
ElasticSearch学习笔记(8)· ES集群的搭建
目录十三、集群的实现1、相关概念集群(cluster)节点(node)分配和复制(shards & replicas)2、快速搭建集群3、安装head插件十三、集群的实现1、相关概念集群(cluster)一个集群就是由一个或多个节点组织在一起,他们共同持有你整个的数据,并一起提供索引和搜索功能,一个集群由一个唯一的名字标识,这个名字默认就是elasticsearch,这个名字是重要的,因为一个节点之恶能通过指定某个集群的名字,来加入这个集群,在产品环境中显式地设定这个名字是一个好习惯,但是原创 2020-10-30 10:27:28 · 1421 阅读 · 0 评论 -
ElasticSearch学习笔记(7)· Springboot+SpringData操作ES
目录十二、Springboot + Spring Data操作ES1、引入maven依赖2、编写yml配置3、添加实体类4、编写BookRepository5、索引、更新一条记录6、删除一条记录7、查询8、排序分页查询9、自定义基本查询(方法名查询)10、实现复杂查询十二、Springboot + Spring Data操作ESNOTE:本章基于ElasticSearch6.2.4、Springboot2.0.6 #srpringboot版本太低的话有可能api跟不上1、引入maven依赖<原创 2020-10-30 00:22:52 · 589 阅读 · 0 评论 -
ElasticSearch学习笔记(5)· Java操作Elasticsearch6.2.4
目录十、Java操作ElasticSearch1、引入maven依赖2、添加实体类3、创建索引4、索引一条数据5、删除一条索引6、更新文档7、批量索引8、普通查询一条文档9、高级检索查询所有并排序、分页查询返回字段检索查询高亮查询过滤查询十、Java操作ElasticSearch本章基于ElasticSearch6.2.4版本1、引入maven依赖<dependency> <groupId>org.elasticsearch</groupId> &l原创 2020-10-29 23:17:11 · 667 阅读 · 0 评论 -
ElasticSearch学习笔记(4)· ES IK分词器
这里写目录标题九、IK中文分词器1、在线安装IK中文分词器2、本地安装IK中文分词器3、扩展词4、停用词5、配置远程词典6、分词器总结九、IK中文分词器NOTE:默认ES中采用标准分词器进行分词,这种方式并不适用于中文网站,因此需要修改ES对中文友好分词,从而达到更佳的搜索效果# 1、定义:就是将一本文本中关键词拆分出来 我是中国人 分词器 中国 中国人 分词特点:拆分关键词,去掉停用词和语气词# 2、ES中提供的分词器 1)默认标准分词器(standard analyzer) 英文:单词原创 2020-10-29 14:06:11 · 730 阅读 · 0 评论 -
ElasticSearch学习笔记(2)· 基于Kibana的CRUD
这里写目录标题六、Kibana的安装七、kibana的基本操作1、索引(index)的基本操作2、类型(type)的基本操作创建类型查看类型3、文档(document)的基本操作添加文档查询文档删除文档更新文档批量操作六、Kibana的安装Kibana是一个针对Elasticsearch的开源分析及可视化平台,使用Kibana可以查询、查看并与存储在ES索引的数据进行交互,使用Kibana能执行高绩的数据分析,并能以图标、表格和地图的形式查看数据# 1、下载Kibana http://www.e原创 2020-10-29 11:06:37 · 543 阅读 · 0 评论 -
ElasticSearch学习笔记(1)· ES基本概念
这里写目录标题一、什么是全文检索二、什么是ElasticcSearch三、ES的应用场景JSON格式数据四、ES的安装五、ES中基本概念1、接近实时(Near Real Time简称NRT)2、索引(index)3、类型(Type)4、映射(Mapping)5、文档(document)一、什么是全文检索 全文检索是计算机程序通过扫描文章中的每一个词,对每一个词建立一个索引,指明该词在文章中出现的次数和位置,当用户查询时根据建立的索引查找,类似于通过字典的检索字表查字的过程。 全文检索(Full原创 2020-10-29 11:04:19 · 929 阅读 · 0 评论 -
ElasticSearch学习笔记(3)· ES高级检索(query)
这里写目录标题八、ES中高级检索1、检索方式2、测试数据3、URL检索4、DSL检索5、DSL高级检索(Query)查询所有(match_all)查询结果中返回的指定条数(size)分页查询(from)查询结果中返回指定字段(_source)关键词查询(term)范围查询(range)前缀查询(prefix)通配符查询(wildcard)多id查询(ids)模糊查询(fuzzy)布尔查询(bool)高亮查询(highlight)多字段查询(multi_match)多字段分词查询(query_string)九原创 2020-10-29 12:15:09 · 3032 阅读 · 0 评论