elasticsearch
文章平均质量分 91
运维个西瓜
这个作者很懒,什么都没留下…
展开
-
在redhat7/8平台上部署ELK7.17.18的技术方案
近期工作中涉及到使用ELK搭建了一套日志服务平台,解决数据中心各类设备日志的统一采集、存储与查询问题。整体上本部署方案是按照一次性成型的设计方式,在完成配置后,启动各项服务实例即形成一套可以满足生产数据中心使用要求的日志服务平台。原创 2024-04-16 10:28:55 · 1228 阅读 · 2 评论 -
elasticsearch平台扩容与配置冷热数据分离存储的技术方案概览
项目背景公司基于elasticsearch实现了很多的业务统计分析与展示服务,而且随着业务的发展,数据量的持续增涨,es的查询效率方面遇到了很多的问题。由于在早期建设该技术平台时,未过多考虑性能加速方面的设计,故均是配置使用的普通大容量、低速磁盘。现在,为满足业务使用需求,我们需要对es平台继续进行扩容,加入更多的SSD配置的服务器,服务于频繁查询使用的近期数据使用需求。为达到这一设计目的,我们调研了大量的中英文技术资料,很多资料都是片段性的,难以提供一个全局性方案的指导。所以,现将我们整理、优化并实原创 2021-12-20 00:18:03 · 4576 阅读 · 3 评论 -
Filebeat与Logstash两个工具之间怎样配置SSL加密通信
在目前比较流行的技术实践方案里,Filebeat大多用作日志采集工具,虽然它可以直接将数据写入Elasticsearch中,但出于各方面的效率考虑,一般都会通过Logstash做一个日志数据的汇聚、转换和分发处理。为了保证应用日志数据的传输安全,我们可以使用SSL相互身份验证来保护Filebeat和Logstash之间的连接。 这可以确保Filebeat仅将加密数据发送到受信任的Logstash...原创 2019-08-06 21:16:32 · 2507 阅读 · 4 评论 -
Step by step怎样部署一套生产环境下的elastic stack 7.2技术栈【七】——启用Metricbeat的安全性配置
我们使用Metricbeat采集es主机节点的系统监控指标数据,以及监控es集群中索引等服务。1. 对每个es服务节点编辑elasticsearch.yml,以启用监控数据采集xpack.monitoring.collection.enabled: true2. 在每个节点的metricbeat部署目录下,启用elasticsearch-xpack模块./metricbeat modul...原创 2019-07-16 17:41:58 · 1018 阅读 · 0 评论 -
Step by step怎样部署一套生产环境下的elastic stack 7.2技术栈【六】——启用Kibana中的安全性配置
本章节主要包括配置kibana的会话安全和加密通信两项内容。配置xpack.security.encryptionKey属性用于加密cookie中的凭据的任意字符串,长度不超过32个字符。 至关重要的是,这个密钥不会暴露给Kibana的用户。 默认情况下,会在内存中自动生成一个值。 如果使用该默认行为,则在Kibana重新启动时,所有会话都将失效。设置会话超时时间为30min。在kiban...原创 2019-07-16 17:34:28 · 715 阅读 · 0 评论 -
Step by step怎样部署一套生产环境下的elastic stack 7.2技术栈【五】—— 向es集群中增加更多节点并配置节点间的加密通信
本章节的配置内容,是建立在成功部署和配置了前面几个章节的基础之上。制作数字证书在一个安全的集群中,Elasticsearch节点在与其他节点通信时会使用证书来标识自己。群集必须验证这些证书的真实性。 建议的方法是信任特定的证书颁发机构(CA)。 因此,当节点添加到群集时,需要他们使用由同一CA签名的证书。制作ca证书:./bin/elasticsearch-certutil ca使...原创 2019-07-16 17:26:15 · 643 阅读 · 0 评论 -
Step by step怎样部署一套生产环境下的elastic stack 7.2技术栈【四】—— 在单机版es技术栈之上启用和配置es安全管理功能
Elasticsearch安全功能使得可以轻松保护群集。 可以对数据进行基础的密码保护,并实施更高级的安全措施,例如加密通信,基于角色的访问控制,IP过滤和审计。在最新发行的es和kinaba版本中,basic级别的许可中已经开放了部分安全管理的功能特性,可以免费使用。详细信息参见:https://www.elastic.co/subscriptions1. 依次停止Metricbeat、ki...原创 2019-07-16 17:14:14 · 509 阅读 · 0 评论 -
Step by step怎样部署一套生产环境下的elastic stack 7.2技术栈【三】—— 部署单机版本的elasticsearch技术栈
在节点1上面安装单节点escurl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.2.0-linux-x86_64.tar.gztar -xzvf elasticsearch-7.2.0-linux-x86_64.tar.gz对elasticsearch.yml几个重要配置参数进行设置:...原创 2019-07-16 17:01:28 · 545 阅读 · 0 评论 -
Step by step怎样部署一套生产环境下的elastic stack 7.2技术栈【二】—— 操作系统的初始化配置
操作系统使用centos7 minimual版本。elasticsearch技术栈均采用 7.2版本,默认使用basic许可,可免费使用xpack部分安全管理服务。部署使用的主机资源规划使用3个主机节点10.20.0.11 es-node110.20.0.12 es-node210.20.0.13 es-node3升级至最新的系统小版本yum -y update &...原创 2019-07-16 16:56:29 · 343 阅读 · 0 评论 -
Step by step怎样部署一套生产环境下的elastic stack 7.2技术栈【一】—— 需要掌握的一些elastic重要概念与配置参数
Elasticsearch 7.2 技术栈安装与配置概要的说明我们将大体上按以下步骤逐步安装和配置出一套满足生产环境运行要求和信息安全管理要求的三节点es服务集群。1)在节点1上面先行安装一套es+kinaba+beats的单节点服务详细步骤可以参考官网这个教程:https://www.elastic.co/guide/en/elastic-stack-get-started/7.2/get...原创 2019-07-16 16:49:43 · 531 阅读 · 0 评论