ELK
郑同学的笔记
CSDN官方认证C++领域优质创作者,CSDN博客专家,2023年6月城市(西安)之星TOP35。分享学习、记录成长。
展开
-
ELK搭建过程中出现的问题与解决方法汇总
ELK搭建过程中出现的问题与解决方法汇总ELK搭建ELK搭建有小伙伴在总结了ELK搭建过程问题的解决方案如下,有需求的自行点击链接去查看,就不复制了:1.ELK搭建过程中出现的问题与解决方法汇总2.集中式日志分析平台 - ELK Stack - Filebeat 的注意事项...原创 2021-07-08 09:54:57 · 515 阅读 · 0 评论 -
metricbeat指标简介
metricbeat指标简介一、metricbeat指标二、window和linux的不同三、window下找不到硬盘指标一、metricbeat指标系统指标采集汇总指标类型指标指标含义cpusystem.cpu.total.pctcpu使用总的百分比cpusystem.cpu.corescpu核数cpusystem.cpu.iowait.pct等待输入输出的CPU时间百分比cpusystem.cpu.user.pct用户空间占用CPU百分比原创 2020-12-30 21:40:05 · 2133 阅读 · 0 评论 -
Logstash伪集群——利用Kafka Group实现高可用
Logstash伪集群——利用Kafka Group实现高可用一、日志架构二、Kafka Consumer Group三、配置四、配置说明1、codec (反序列化JSON)2、consumer_threads(并行传输)一、日志架构所有日志由Filebeat、metricbeat收集,然后传输给Kafka,Logstash作为Consumer消费Kafka里边的数据,分别写入Elasticsearch,最后使用Kibana输出到web端供相关人员查看。在以上整个架构中,核心的几个组件Kafka、E原创 2020-11-18 21:18:53 · 1871 阅读 · 1 评论 -
elk+kafka搭建教程
elk+kafka搭建教程一、搭建kafka集群二、启动elasticsearch1、elasticsearch集群2、elasticsearch单机配置文件如下3、启动elasticsearch三、启动filebeat1、修改配置文件filebeat.yml2、filebeat重载功能实现(不用重启,修改配置文件后生效)3、启动命令四、启动logstash1、新建配置文件logstash.conf2、输入配置文件内容如下3、启动命令一、搭建kafka集群搭建kafka集群具体过程参考:kafka集群搭原创 2020-09-18 17:06:07 · 1108 阅读 · 0 评论 -
kafka集群搭建教程(使用自带的zookeeper)
kafka集群搭建教程(使用自带的zookeeper)一、kafka简介二、kafka名词解释三、zookeeper与Kafka四、kafka集群搭建前准备1、下载2、检验jdk3、系统参数修改4、关闭防火墙五、zookeeper集群搭建1、解压kafka安装包到/usr/local/kafka目录下2、修改配置zookeeper.properties文件内容:3、注意4、生成myid文件5、启动zookeeper六、kafka集群搭建1、修改配置内容:2、启动kafka3、创建topic4、查看topic原创 2020-09-18 16:36:44 · 2388 阅读 · 8 评论 -
logstash和kafka版本兼容性
一、logstash和kafka版本兼容参考:https://www.elastic.co/guide/en/logstash/7.x/plugins-inputs-kafka.html例如:如下图所示,logstash7.x版本用的是kafka2.4做的兼容测试。故在使用logstash 7.x版本时,不要使用kafka2.4以下的版本...原创 2020-09-18 14:15:55 · 1776 阅读 · 0 评论 -
filebeat、elasticsearch采用https协议
filebeat、elasticsearch采用https协议1、生产p12证书1.1、创建生产证书的文件1.2、生成一个证书1.3、生成证书对应秘钥2、启动elasticsearch2.1、修改配置文件2.2、重启elasticsearch3、启动filebeat3.1、修改配置文件3.2、启动filebeat4、打开elasticsearch-head5、使用nodejs访问elasticsearch1、生产p12证书elasticsearch基础及以上版本才有生产证书的功能,elasticsear原创 2020-09-10 21:30:58 · 2929 阅读 · 1 评论 -
filebeat简介及配置说明
filebeat简介及配置说明一、Filebeat简介二、安装使用(windows和linux安装包)1.下载并解压filebeat2.编辑配置文件filebeat.yml3.启动三、配置文件详细说明一、Filebeat简介Filebeat是本地文件的日志数据采集器,可监控日志目录或特定日志文件(tail file),并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带有内部模块(auditd,Apache,Nginx,System和MySQL),可通过一个指定命令来简原创 2020-09-04 21:30:03 · 4183 阅读 · 0 评论 -
elasticsearch集群配置简介及demo
elasticsearch集群配置简介及demo一、为何要搭建 Elasticsearch 集群1.高可用性2.健康状态3.存储空间二、节点类型1. 候选主节点(Master-eligible node)2. 数据节点(Data node)3. 客户端节点(Client node)4. 协调节点(Coordinating node)三、elasticsearch配置demo1.节点node1配置2.节点node2配置3.结果如下图所示一、为何要搭建 Elasticsearch 集群在搭建集群之前,我们首原创 2020-09-04 17:00:24 · 255 阅读 · 0 评论 -
elasticsearch定时删除过期索引index
elasticsearch定时清理过期索引index一、定时函数二、获取过期时间三、获取esClient四、获取全部索引五、判定索引是否过期六、删除过期索引七、demo代码一、定时函数每次更新完配置文件后,先清除定时函数。然后设置,每过5s执行一次清理函数 // 清除定时器 clearInterval(this.timeObj); var config = this.getConfig(); var keep_time = config.k原创 2020-09-03 22:45:54 · 2752 阅读 · 0 评论 -
使用nodejs搜索elasticsearch(DSL)
使用nodejs搜索elasticsearch一、npm 安装elasticsearch模块二、启动elasticsearch三、查询、删除内容、删除索引demo查询删除索引中日志的内容删除索引一、npm 安装elasticsearch模块npm install elasticsearch二、启动elasticsearch启动的的elasticsearch服务,而非步骤一中安装的npm模块。对elasticsearch的介绍,我后面的博客会单独做介绍。单击elasticsearch.bat,或者原创 2020-09-02 21:41:17 · 1461 阅读 · 0 评论 -
filebeat自定义索引(不同的日志输出到不同的索引)
filebeat可以实现不同的日志(input)输出到不同的索引(index) # 向输出的每一条日志添加额外的信息,比如“level:debug”,方便后续对日志进行分组统计。 # 默认情况下,会在输出信息的fields子目录下以指定的新增fields建立子目录,例如fields.level # 这个得意思就是会在es中多添加一个字段,格式为 "filelds":{"level":"debug"} #fields: # level: debug配置文件如下所示# ======原创 2020-09-01 21:33:51 · 8292 阅读 · 4 评论 -
filebeat替换采集时间戳@timestamp为日志时间
前言filebeat采集时间戳timestamp替换为日志中的时间。可以采用logstash,可以参考网上其他方案,在此不做介绍。本次介绍filebeat原生支持的方案。(具体也可参考文末的博客,我也是读了这篇博客才懂的,在此仅为对知识做下记录)替换filebeat时间戳timestamp方案主要是使用script timestamp 这两个属性。script 作用是提取log里的时间值,并赋值给一个字段timestamp作用是把一个字段值格式化为时间戳。这样采集时间戳就替换成了log里的时间。原创 2020-09-01 21:01:59 · 4754 阅读 · 0 评论 -
filebeat重载配置文件:reload功能
filebeat重载配置文件:reload功能filebeat重载配置文件filebeat.yml的重载部分input重载配置文件为input.yml全部配置文件filebeat.ymlfilebeat重载filebeat采集可以实现不重启服务,仅仅在修改配置文件的情况下,让filebeat重新加载配置文件就可以生效。配置文件filebeat.yml的重载部分input修改filebeat配置文件input如下所示filebeat.config.inputs: enable: true p原创 2020-09-01 20:30:16 · 7520 阅读 · 1 评论