![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ELK
IChen.
这个作者很懒,什么都没留下…
展开
-
你居然还去服务器上捞日志,搭个日志收集系统难道不香么!
经典的ELK架构或现被称为Elastic Stack。容器化场景中,尤其k8s环境,用户经常使用EFK架构。F代表Fluent Bit,一个开源多平台的日志处理器和转发器。原创 2023-11-08 15:45:53 · 115 阅读 · 0 评论 -
Filebeat 日志采集利器(概念篇)
Filebeat 的构成Filebeat结构:由两个组件构成,分别是inputs(输入)和harvesters(收集器),这些组件一起工作来跟踪文件并将事件数据发送到您指定的输出,harvester负责读取单个文件的内容。harvester逐行读取每个文件,并将内容发送到输出。为每个文件启动一个harvester。harvester负责打开和关闭文件,这意味着文件描述符在harvester运行时保持打开状态。如果在收集文件时删除或重命名文件,Filebeat将继续读取该文件。原创 2023-11-08 15:12:46 · 348 阅读 · 0 评论 -
filebeat ERROR instance/beat.go:989 Exiting: data path already locked by another beat. Please..
filebeat -e2022-04-18T17:41:37.630+0800 INFO instance/beat.go:665 Home path: [/usr/share/filebeat] Config path: [/etc/filebeat] Data path: [/var/lib/filebeat] Logs path: [/var/log/filebeat]2022-04-18T17:41:37.630+0800 INFO instance/beat.go原创 2022-04-18 17:48:40 · 1519 阅读 · 0 评论 -
Centos7 Docker安装ELK详细步骤
系统配置:CentOS7.6 4核4GELK版本:7.7.1elastic官网地址:https://www.elastic.co/cn/elastic产品地址:https://www.elastic.co/cn/elastic-stackyum源地址:https://mirrors.tuna.tsinghua.edu.cn/elasticstack/yum前言日志主要包括系统日志和应用程序日志,运维和开发人员可以通过日志了解服务器中软硬件的信息,检查应用程序或系统的故障,了解故障出现的原因原创 2022-04-18 16:16:57 · 1734 阅读 · 0 评论 -
Elasticsearch启动报错:java.lang.RuntimeException: can not run elasticsearch as root
Elasticsearch启动报错:org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:163) ~[elasticsearch-6.8.9.jar:6.8.9] at org原创 2022-01-10 16:52:08 · 10965 阅读 · 0 评论 -
Filebeat 采集历史日志
1.可以采集当前日志文件的历史日志2.可以添加新的日志路径,如采集其它的历史日志文件- type: log ignore_older: 2h ##这个可以采集当前日志文件2小时内的日志,(2h/2m时分) enabled: true paths: - /data/jvmapp/dt-server-auto-dealer/logs/info.log - /data/jvmapp/dt-server-auto-dealer/logs/2021-01/info-2021-0原创 2021-09-03 17:17:20 · 1025 阅读 · 0 评论 -
Kibana操作es备份数据
es操作:sudo docker exec -it es /bin/bashvim config/elasticsearch.ymlpath.repo: ["/es_data/back"]mkdir /es_data/backchown -R elasticsearch.elasticsearch /es_data/sudo docker restart eskibana操作:docker exec -it -uroot kibana /bin/bashvim config/kiban原创 2021-09-02 09:45:17 · 1158 阅读 · 0 评论 -
Es 索引查询与删除
1、 #删除单个索引# curl -XDELETE -u elastic:elasticpasswd http://localhost:9200/index_name{"acknowledged":true}2、#删除多个指定索引,中间用逗号隔开# curl -XDELETE -u elastic:elasticpasswd http://localhost:9200/index_name_01,index_name_023、#模糊匹配删除# curl -XDELETE -u elastic原创 2021-09-01 18:06:19 · 13456 阅读 · 0 评论 -
Beats: Filebeat 自定义标签 多日志采集
Filebeat一、自定义采集数据标签自定义标签自定义字段终端端显示信息完整的一个 自定义标签、自定义字段的 filebeat采集日志logstash 引用标签,对索引进行输出二、Filebeat 采集多个日志配置一、自定义采集数据标签自定义标签tags: [“nginx-access”] 自定义标签为 nginx-accesstags: [“error-access”] 自定义标签为 error-access自定义字段fields: from: nginx-access itc原创 2021-08-31 15:30:45 · 598 阅读 · 0 评论 -
Filebeat的高级配置-Filebeat部分
在Filebeat安装完成准备使用前,最好先对Filebeat进行一些详细的配置再使用,下面来详细讲解一下相关内容。Filebeat的配置文件是/etc/filebeat/filebeat.yml,遵循YAML语法。具体可以配置如下几个项目:FilebeatOutputShipperLogging(可选)Run Options(可选)这个Blog主要讲解Filebeat的配置部分,其他部分后续会有新的Blog介绍。Filebeat的部分主要定义prospector的列表,定义监控哪里的日原创 2021-08-31 15:24:25 · 2475 阅读 · 0 评论 -
ELK 过滤 tags 默认标签信息 【beats_input_codec_json_applied】
1.在logstash里面添加如下配置:input { beats { port => "5044" }}---------------------------------------------------------------# filter是要添加的部分filter { if "beats_input_codec_json_applied" in [tags] { mutate { remove_tag.原创 2021-08-31 10:55:00 · 251 阅读 · 0 评论 -
常用的ELK/EFK架构
基础架构:1/ Kibana---->elasticsearch---->Logstash(收集)2/ Kibana---->elasticsearch---->filebeat(收集)3/ Kibana---->elasticsearch---->Logstash(过滤)---->filebeat(收集)扩展架构:1/ Kibana---->elasticsearch---->Logstash(过滤)---->redis(缓存)-原创 2021-08-24 14:51:46 · 475 阅读 · 0 评论 -
登录 Jed_SH ELK 默认端口
kibana 5601logstash 9600 input 4560Elasticsearch 9200logback ----> logstash logstash_to_elasticsearch.conf -----> elasticsearch --------> kibana启动logstash命令sudo logstash -f /usr/local/logstash/logstash-6.5.4/confi.原创 2021-08-24 11:09:33 · 269 阅读 · 0 评论