ELK+FileBeat
文章平均质量分 65
日志收集
我的喵叫初六
这个作者很懒,什么都没留下…
展开
-
promtail + loki + grafana实现日志服务
loki + promtail +grafana实现轻量级日志服务原创 2022-06-06 16:38:14 · 1457 阅读 · 0 评论 -
[ERROR][logstash.agent] Failed to execute action {:action=>LogStash
logstash启动配置文件报错:[ERROR][logstash.agent ] Failed to execute action {:action=>LogStash这种情况多数都是配置文件写错了可以通过下面命令检查一下[root@ELK logstash-7.13.2]# ./bin/logstash -f config/java_log.conf -t我下面的错误又可能是我在编辑是粘贴错误造成的这里明显是没写完或者多余的配置文件太长很原创 2022-03-22 16:07:06 · 3293 阅读 · 0 评论 -
filebeat+kafka+logstash收集java日志
之前写过收集java日志的文档,但没有使用kafka,这次加了个kafka。kafka安装Dokcer 搭建 kafka_我的喵叫初六的博客-CSDN博客pull镜像docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka安装zookeeper我这里做了资源限制docker run -d \--name zookeeper \-p 2181:2181 \--memory=1024m --cpus=1 \-t wurstm..原创 2021-11-09 14:54:10 · 1522 阅读 · 0 评论 -
kubernetes 日志收集
本文日志收集流程:k8s 使用 daemonset 创建 filebeat 服务; filebeat 发送日志到 kafka; logstash 收集 kafka 接收到的日志; logstash 发送日志到 ES; kibana 从 ES 提取日志并展示。一、部署kafka参考文章:Dokcer 搭建 kafka_我的喵叫初六的博客-CSDN博客pull镜像docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka原创 2021-11-03 12:01:56 · 1540 阅读 · 0 评论 -
ELK索引清理
主要针对Elasticsearch操作我这里的数据没必要留存很久,像java日志只是给开发实时查看的,nginx日志用来写周报图表用,也没必要留存很久。主要操作:查看所有索引(包含索引数据大小)curl 'localhost:9200/_cat/indices?v'可以加grep过滤删除索引(也删除了对应的数据)curl -XDELETE http://localhost:9200/axt_examination_log-2021.07.30 #删除单条索引curl -X原创 2021-08-12 14:51:13 · 954 阅读 · 0 评论 -
ELK + Filebeat 7.13
之前编写过低版本的ELK日志收集,最近换公司,部署了一套单节点7.13版本ELK,7.13版本较之前6.x版本还是有很大区别的。一、环境ELK部署在同一台Centos7.9服务器上Filebeat用于收集nginx日志java日志使用的是阿里云NAS共享存储,所以直接将日志目录挂载到了ELK服务器上JDK 1.8二、下载安装1、下载# elasticsearchwget https://artifacts.elastic.co/downloads/elasti..原创 2021-07-30 14:51:36 · 542 阅读 · 0 评论 -
ELK+FileBeat
介绍 “ELK”是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到诸如 Elasticsearch 等“存储库”中。Kibana 则可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。安装ELK服务器:codeus-log 172.17.202.147 n...原创 2020-07-21 15:58:18 · 237 阅读 · 0 评论