在采集日志时,会涉及到对于应用中异常堆栈日志的处理,我们使用了logstash实现了日志归并,在本篇中我们也可以使用filbeat来实现合并。使用multiline.pattern、multiline.negate和multiline.match来实现,我们通过制定匹配规则将以空格开头的所有行合并到上一行,并把以Caused by开头的也追加到上一行。
示例:
filebeat.inputs:
- type: log
enabled: true
paths: - /home/logs/*.txt
multiline.pattern: ‘[[:space:]]+(at|.{3})\b|Caused by:’
multiline.negate: false
multiline.match: after
若是想采集多个目录,第一种方式,直接在采集的目录下再添加一行 示例图:
第二种方式,想采集多个目录并且输出到不同的索引库中,可以增加fields来表示,类似logstash的type。 示例图:
判断的时候,使用if [fields][log-test] == "true"{ }
这样既可。
output
output主要作用是将数据进行输出,比如输出到kafka、elasticsearch或者logstash中。 这里将数据输出到ElasticSearch中,如果是集群,通过逗号可以配置多个节点。
示例:
output.elasticsearch:
hosts: [“127.0.0.1:9200”]
按照上述配置会将读取的数据输出默认的模板索引库中,如果我们想指定索引库输出的话,只需要添加索引库名称即可。
示例:
output.elasticsearch:
hosts: [“127.0.0.1:9200”]
index: “mylog”
输出到Logstash配置:
output.logstash:
hosts: [“localhost:5044”]
3,使用
demo
在/home/logs/目录下添加一个日志文件, 然后在filebeat文件夹中创建一个filebeat_test.yml文件,然后在该文件中添加如下配置:
filebeat.inputs:
- type: log
enabled: true
paths: - /home/logs/*.txt
multiline.pattern: ‘[[:space:]]+(at|.{3})\b|Caused by:’
multiline.negate: false
multiline.match: after
output.elasticsearch:
hosts: [“192.168.8.78:9200”]
使用root用户在filebeat文件夹输入
./filebeat -c filebeat_test.yml test config
进行配置启动测试
启动命令:
./filebeat -e -c filebeat_logstash.yml
后台启动命令:
nohup ./filebeat -c filebeat_logstash.yml >/dev/null 2>&1 &
若是后台启动,可以在filebeat统计目录的logs目录查看日志信息。
启动filebeat采集日志写入到ES中,默认会使用filebeat的模板
示例图如下:
自定义json写入
有时候,我们想采集json文件并直接将json文件的数据按照格式写入到ES对应的索引库中,我们也可以通过filebeat去实现。
1.在filebeat的目录下创建一个filebeat_json.yml
的yml文件。
配置文件:
filebeat.inputs:
- type: log
enabled: true
tags: [“i”, “love”, “json”]
json.message_key: user_name
json.keys_under_root: true
json.add_error_key: true
fields:
qwe: xuwujing
paths: - /home/logs/myjson.log
output.elasticsearch:
hosts: [“127.0.0.1:9200”]
index: “myjson_index”
setup.ilm.enabled: false
setup.template.name: myjson_index
setup.template.pattern: myjson_index
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024b (备注Java)
最后
,并且后续会持续更新**
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024b (备注Java)
[外链图片转存中…(img-5IWyvraD-1711830410828)]
最后
[外链图片转存中…(img-eMHUiGYJ-1711830410829)]