elasticsearch
文章平均质量分 76
Data & safety
这个作者很懒,什么都没留下…
展开
-
什么是ELK?
我们在进行日志分析时,目前的处理方式是在日志文件中grep(一种强大的文本索引工具)、awk(文本处理工具)获取自己想要的信息。但是在海量的数据日志中,通过这种处理方式,性能远远无法满足要求,主要面临的问题是:1、日志量太大如何归档;2、文本搜索太慢怎么办; 3、如何多维度查询; 因此,需要对日志进行集中化管理,收集所有服务器上的日志信息。常见的解决思路是建立集中式日志收集系统,将所有节点上的日志统一收集、管理、访问。一般大型系统是一个分布式部署的架构,不同的服务器模块部...转载 2021-04-11 15:26:44 · 618 阅读 · 0 评论 -
索引模板(Index templates)
为什么需要索引模板? 在实际工作中,针对一批大量数据存储的时候需要使用多个索引库,如果手工指定每个索引库的配置信息(settings和mappings)的话就很麻烦了。所以,这个时候,就存在创建索引模板的必要了。 索引可以使用预定义的模板进行创建,这个模板称作Index templates。 模板设置包括settings和mappings,通过模式匹配的方式使得多个索引重用一个模板。1. settings主要作用于index的一些相关配置信息,如分片数、副本数,tranlo...转载 2021-04-11 11:00:31 · 840 阅读 · 0 评论 -
ES集群7.3.2版本在线扩容Data节点
背景接到生产业务需求,需要在线扩容ES集群且不能影响数据安全性,经过对Elasticsearch角色的分析,发现直接扩容Data节点最简单而且能满足需求。备注:原来ES集群3节点dim角色默认都开启了。原节点信息[root@188_33_centos ~]# curl 192.168.188.33:9200/_cat/nodes192.168.188.33 51 98 3 0.23 0.20 0.17 dim - es-33192.168.188.39 33 97 2 0.01 0.06转载 2021-01-17 20:00:18 · 1133 阅读 · 0 评论 -
Elasticsearch学习之ES节点类型以及各种节点的分工
ES各种节点的分工1. 客户端节点 当主节点和数据节点配置都设置为false的时候,该节点只能处理路由请求,处理搜索,分发索引操作等,从本质上来说该客户节点表现为智能负载平衡器。独立的客户端节点在一个比较大的集群中是非常有用的,他协调主节点和数据节点,客户端节点加入集群可以得到集群的状态,根据集群的状态可以直接路由请求。2. 数据节点 数据节点主要是存储索引数据的节点,主要对文档进行增删改查操作,聚合操作等。数据节点对cpu,内存,io要求较高, 在优化的时候需要监控数据节点的状态,.转载 2021-01-17 19:45:55 · 823 阅读 · 0 评论 -
es的基本原理和操作文档
一、背景知识1、搜索的分类我们想要寻找某些信息的时候,一般会直接去百度、谷歌、搜歌、360搜索等,搜索分为垂直搜索、互联网搜索、IT系统的搜索。搜索,就是在任何场景下,找寻你想要的信息,这个时候,会输入一段你要搜索的关键字,然后就期望找到这个关键字相关的有些信息。2、如果用数据库做搜索会怎么样?做软件开发的话,或者对IT、计算机有一定的了解的话,都知道,数据都是存储在数据库里面的,比如说电商网站的商品信息,招聘网站的职位信息,新闻网站的新闻信息,等等吧。所以说,很自然的一点,如果说从技术的角转载 2021-01-17 18:03:34 · 787 阅读 · 0 评论 -
Elasticsearch7.X为什么移除type
Elasticsearch7.X为什么移除类型(type)在Elasticsearch7.0.0及以后版本不再接受_default_ 映射。在6.x里创建的索引依然像在Elasticsearch6.X之前一样起作用。Types在7.0的API里是被舍弃的,在创建索引,设置映射,获取映射,设置模板,获取模板,获取字段映射API有着不兼容的改变。什么是类型(type)?从Elasticsearch的第一个发布版本以来,每一个文档都被存储在一个单独的索引里,并被赋予了一个type,一个映射类型代表转载 2021-01-17 17:23:32 · 443 阅读 · 0 评论 -
ES(一):ES基本概念和原理简单介绍
Elasticsearch概述:ES是基于Lucene的搜索服务器,它提供了一个分布式多用户能力的全问搜索引擎,且ES支持RestFulweb风格的url访问。ES是基于Java开发的开源搜索引擎,设计用于云计算,能够达到实时搜索,稳定、可靠、快速。此外,ES还提供了数据聚合分析功能,但在数据分析方面,es的时效性不是很理想,在企业应用中一般还是用于搜索。ES自2016年起已经超过Solr等,称为排名第一的搜索引擎应用。Elasticsearch基本概念:ES中有几个基本概念:索引(index)转载 2021-01-17 16:51:27 · 4081 阅读 · 0 评论 -
Elasticsearch7.x—生产环境集群核心配置
一. Elasticsearch相关配置path.data 和 path.log这两个配置的目录分别用来存放索引数据和日志,它们的默认路径位于$_ES_HOME的子文件夹内。这样有很大风险,特别是在升级Elasticsearch版本时,这些数据很可能被删除,在生产环境中可参考下面的配置path: logs: /var/log/elasticsearch data: /var/data/elasticsearch另外path.data支持配置多个目录,每个目录都会用来存放数据...转载 2021-01-17 15:58:14 · 555 阅读 · 0 评论 -
elasticseach 和hbase 在海量数据存储上哪个好
单纯从技术的角度来说其实没有好坏之分,技术选型需要结合实际的业务场景来定。从问题描述上看大致可以从几个方面来考虑:1)数据量每天5G数据量,按存储1年的数据来考虑,大概是1.8T,es和hbase都能支持,并且两者都可以通过扩展集群来加大可存储的数据量。随着数据量的增加,es的读写性能会有所下降,从存储原始数据的角度来看,hbase要优于es2)数据更新es数据更新是对文档进行更新...原创 2020-05-06 16:21:14 · 901 阅读 · 0 评论 -
ELK 项目监控平台部署+使用详解之部署(二)
因为不同的版本号之间可能会有一定的差异,所以我这里为了保证大家能够下一步下一步的顺利执行。先确认一下版本号和部署的环境。elasticsearch 5.5.1logstash 5.5.1kibana 5.5.1这三个服务器统一部署在一台服务器。业务量大的可以考虑将elasticsearch分离开来做集群。为了方便以下都以es来代表elasticsearc。es + kib...原创 2020-01-04 19:42:15 · 353 阅读 · 0 评论 -
Elasticsearch 7.5.0集群部署
一、背景介绍ELK 不是一款软件,而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件,通常配合使用,而且又先后归于 Elastic.co 公司名下,所以被简称为 ELK Stack。根据 Google Trend 的信息显示,ELK Stack 已经成为目前最流行的集中式日志解决方案。Elasticsearch:分布式搜索和分...原创 2020-01-01 21:35:28 · 1307 阅读 · 0 评论 -
Linux安装elasticsearch7.2和kibana7.2最新教程
2019年最新版centos7.6 elasticsearch安装坑爹教程终于在这个重庆凉爽的夏季来到,那么老夫就直奔主题了,首先需要说明的是,Linux安装JDK8(或者更高版本的)后配好环境变量,然后再安装elasticsearch搜索引擎(或者叫他全文检索框架吧),相信百度这个教程了估计JDK安装那个就不需要赘述了,还有值得提出来的就是elasticsearch5.0后的版本,6,7呀这些版...原创 2019-12-31 16:48:39 · 659 阅读 · 0 评论 -
Elasticsearch安装教程
1.1 基础环境OS:Centos7.4ES: elasticsearch-6.2.4.tar.gz1.2 下载wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz1.3 解压执行解压命令:tar -zxvf elasticsearch-6.2.4.tar...原创 2019-12-31 16:14:10 · 516 阅读 · 1 评论