ELK安装+Filebeat收集java日志

已于 2023-09-18 16:49:10 修改
阅读量1.7k 收藏 6
点赞数 3
分类专栏： elk 文章标签： java elasticsearch 开发语言
于 2022-07-13 11:44:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45112997/article/details/125760383
版权

一、下载

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.4-x86_64.rpm
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.17.4-x86_64.rpm
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.17.4-x86_64.rpm
rpm包wget https://artifacts.elastic.co/downloads/enterprise-search/enterprise-search-7.17.4.rpm
或者wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.4-linux-x86_64.tar.gz

二、安装配置elasticsearch

2.1 安装jdk环境

● 下载安装包
○ 登陆官网下载(需要oracle账号)
■ https://www.oracle.com/java/technologies/downloads/#java8
解压并配置环境变量

tar xf jdk-8u311-linux-x64.tar.gz
mv jdk1.8.0_311 /usr/local/jdk
cat >> /etc/profile <<EOF
JAVA_HOME=/usr/local/jdk
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
export PATH JAVA_HOME CLASSPATH
EOF
source /etc/profile
● 验证jdk
java -version
2.2 配置系统参数
● 设置内核参数
echo "vm.max_map_count=655360" >> /etc/sysctl.conf
● 执行以下命令确保配置生效。
sysctl -p
● 设置资源参数
  ○  # vi /etc/security/limits.conf
* soft nofile 65536
* hard nofile 131072
* soft nproc 65536
* hard nproc 131072

设置es启动用户资源参数
echo "elastic    soft    nproc     65536" >> /etc/security/limits.d/20-nproc.conf
2.3 解压elasticsearch到指定目录
tar xf elasticsearch-7.17.4-linux-x86_64.tar.gz -C /usr/local/
mkdir -p /data/es/{data,logs}
chown -R elastic.elastic /usr/local/elasticsearch-7.17.4
chown -R elastic.elastic /data/es
su - elastic
cat >> /usr/local/elasticsearch-7.17.4/config/elasticsearch.yml <<EOF
cluster.name: application
node.name: node-1
path.data: /data/es/data
path.logs: /data/es/logs
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]
plugin.mandatory: ingest-attachment
xpack.security.enabled: 'true'
xpack.security.transport.ssl.enabled: 'true'
EOF
2.4 设置密码
/usr/local/elasticsearch-7.17.4/bin/elasticsearch-setup-passwords interactive
2.5 后台启动
/usr/local/elasticsearch-7.17.4/bin/elasticsearch -d
2.6 查看日志验证

三、日志格式

3.1 日志格式1
[2022-07-14 10:03:30.310] [http-nio-8080-exec-2] [ERROR] (com.zz.framework.exception.handler.GlobalExceptionHandler:83) - 数据校验异常,异常字段
3.1.1 logstash配置
cat > /etc/logstash/conf.d/app-java.conf << EOF
input {
    beats {
        port => 5044
    }
}
filter {
	grok {
		match => [
			"message", "\[%{DATA:logtime}\] "
		]

		break_on_match => false
	}

	date {
		match=> ["logtime","yyyy-MM-dd HH:mm:ss.SSS"]
		target=>"@timestamp"
	}
}
output {
  if "APPname1" in [tags] {
    elasticsearch {
    hosts => ["elasticsearch集群ip:9200"]
    index => "java-APPname-%{+YYYY-MM-dd}"
    user => "elastic"
    password => "123456"
    }
  }else if "APPname2" in [tags] {
    elasticsearch {
    hosts => ["elasticsearch集群ip:9200"]
    index => "java-APPname-%{+YYYY-MM-dd}"
    user => "elastic"
    password => "123456"
    }
  }else {
    elasticsearch {
    hosts => ["elasticsearch集群ip:9200"]
    index => "java-%{+YYYY-MM-dd}"
    user => "elastic"
    password => "123456"
    }
  }
}
EOF
systemctl start logstash
3.1.2 filebeat配置

multiline.pattern: '^\<|^[[:space:]]|^[[:space:]]+(at|\.{3})\b|^Caused by:' #正则，自己定义，一个表示可以匹配多种模式使用or 命令也就是“|”
multiline.pattern: '^\[' #正则，自己定义，一个表示可以匹配多种模式使用or 命令也就是“|”
multiline.negate: false #默认是false，匹配pattern的行合并到上一行；
multiline.negate: true #不匹配pattern的行合并到上一行
multiline.match: after #合并到上一行的末尾或开头

rpm -ivh filebeat-7.17.4-x86_64.rpm
cp /etc/filebeat/filebeat.yml /etc/filebeat/filebeat.yml.bak
cat > /etc/filebeat/filebeat.yml << EOF
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /tmp/APPname1.log
  tags: ["APPname1"]
  fields:
    env: test
    app: APPname
  multiline.pattern: '^\['
  multiline.negate: true
  multiline.match: "after"
- type: log
  enabled: true
  paths:
    - /tmp/APPname2.log
  tags: ["APPname2"]
  fields:
    env: stg
    app: APPname
  multiline.pattern: '^\['
  multiline.negate: true
  multiline.match: "after"
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
output.logstash:
  hosts: ["logstashIP1:5044","logstashIP2:5044","logstashIP3:5044"]
EOF

systemctl start filebeat
3.2 日志格式2

elfk采集json格式的java日志
背景：经与开发沟通，改造java日志为json格式，并添加相应字段 app、env、timestamp等方便采集
最终日志格式为

{"timestamp":"2022-09-09T01:58:00,151Z","logfilepath":"logs/java-Appname1-2022-09-09.log","app":"APPname1","version":"v1.3.0","env":"test","host":"APPname1-56fb8bf9b9-nmbpz","level":"INFO","pid":"7","thread":"Thread-8","class":"com.zz.mp.user.service.impl.BarcodeServiceImpl","method":"generateBarcode","line":"100","message":"完成释放生成Barcode任务锁","statck_trace":""}
3.2.1 logstash配置
input {
    beats {
        port => 5044
    }
}
output {
  if "APPname1" in [tags] {
    elasticsearch {
    hosts => ["192.168.11.41:9200"]
    index => "APPname1-%{+YYYY-MM-dd}"
    user => "elastic"
    password => "123456"
    }
  }else if "APPname2" in [tags] {
    elasticsearch {
    hosts => ["192.168.11.41:9200"]
    index => "%{[app]}-%{+YYYY-MM-dd}"
    user => "elastic"
    password => "123456"
    }
  }
}
3.2.2 filebeat配置
- type: log
  paths:
  - /app/*/*/java-*.log
  exclude_files: ["_filebeat", ".gz$"]
  json.keys_under_root: true
  json.overwrite_keys: true
  tags:
    APPname2
3.3 日志格式3

filebeat收集空白开始或者…或者Caused by开始的都为一段

Exception in thread "main" java.lang.NullPointerException
        at com.example.myproject.Book.getTitle(Book.java:16)
        at com.example.myproject.Author.getBookTitles(Author.java:25)
        at com.example.myproject.Bootstrap.main(Bootstrap.java:14)
3.3.1 filebeat配置文件
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /tmp/APPname1.log
  tags: ["APPname1"]
  fields:
    env: stg
    app: APPname1
  multiline.pattern: '^[[:space:]]+(at|\.{3})[[:space:]]+\b|^Caused by:'
  multiline.negate: false
  multiline.match: after
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
output.logstash:
  hosts: ["logstashIP1:5044","logstashIP2:5044","logstashIP3:5044"]
3.4 日志格式4
[01595c5af15841af822b3caca90ff57e][INFO][2023-07-12 14:39:05 445][server.service.Y4ECSService]-[RTG补发可驶离:AIV车辆是否在RTG的范围内=null]
3.4.1 logstash配置
input {
    beats {
      port => 5044
    }
}
filter {
	grok {
		match => [
      "message","\[%{DATA:traceId}\]\[%{DATA:loglevel}\]\[%{DATA:logtime}\]"
		]
		break_on_match => false
	}
	date {
		match => ["logtime","yyyy-MM-dd HH:mm:ss SSS"]
		target => "@timestamp"
	}
  mutate {
    remove_field => ["@version","logtime","traceId","loglevel"]
  }
}

output {
 if "aiv" in [tags] {
    elasticsearch {
      hosts => ["http://10.140.20.198:9200","http://10.140.20.199:9200"]
      index => "aiv2-%{+YYYY.MM.dd}"
    }
 }else if "qc" in [tags] {
    elasticsearch {
      hosts => ["http://10.140.20.198:9200","http://10.140.20.199:9200"]
      index => "qc2-%{+YYYY.MM.dd}"
    }
 }else if "rtg" in [tags] {
    elasticsearch {
      hosts => ["http://10.140.20.198:9200","http://10.140.20.199:9200"]
      index => "rtg2-%{+YYYY.MM.dd}"
   }
  }else {
    file{
      path => "/tmp/*/*.log"
    }
 }
}
3.4.2 filebeat配置
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /***/logs/web.log
  tags:
    aiv
  multiline.pattern: '^\['
  multiline.negate: true
  multiline.match: "after"
setup.ilm.enabled: false
setup.template.name: "rtg"
setup.template.pattern: "rtg-*"
output.logstash:
  hosts: ["1logstashIP:5044"]
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3
setup.kibana:
processors:
    - drop_fields:
        fields: ["ecs","agent","log","input","@metadata","stream"]
3.4.3 windows的filebeat配置
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - E:\**\logs\web.log
  encoding: GB2312
  tags:
    rtg
  multiline.pattern: '^\[' #匹配的正则 不是以[ 格式开头的将合并到上一行
  multiline.negate: true #多行匹配模式后配置的模式是否取反，默认false
  multiline.match: after #定义多行内容被添加到模式匹配行之后还是之前，默认无，可以被设置为after或者before
setup.ilm.enabled: false
setup.template.name: "qc"
setup.template.pattern: "qc-*"
output.logstash:
  hosts: ["logstashIP:5044"]
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
setup.kibana:
processors:
    - drop_fields:
        fields: ["ecs","agent","log","input","@metadata"]
3.5 日志格式5
2023-08-11 07:02:43.008 c.j.s.b.StartRealBolt Thread-39-RealDataReportMqttBoltreal_data/report/H410-executor[153, 153] [DEBUG] StartRealBolt end,vehicleNo:H410,curTime:1691737362919
2023-08-11 07:02:43.008 c.j.s.b.StartRealBolt Thread-39-RealDataReportMqttBoltreal_data/report/H410-executor[153, 153] [INFO] SRB-VO:H410,s:default,a:12,b:43,c:0,d:34,e:6,eR0:5,eR1:0,f:1,fR:0,g:0
2023-08-11 07:02:43.015 c.j.s.b.StartRealBolt Thread-33-RealDataReportMqttBoltreal_data/report/H359-executor[105, 105] [INFO] StartRealBolt_begin:H359
3.5.1 filebeat配置
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /data/storm/logs/workers-artifacts/*/*/*.log
  tags:
    storm
    #multiline.pattern: '^\['
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
  multiline.negate: true
  multiline.match: "after"
setup.ilm.enabled: false
setup.template.name: "logstash-log"
setup.template.pattern: "logstash-log-*"
output.logstash:
  hosts: ["10.140.20.31:5044"]
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3
setup.kibana:
processors:
    - drop_fields:
        fields: ["ecs","agent","log","input","@metadata","stream"]
3.5.2 logstash配置
input {
    beats {
      port => 5044
    }
}
filter {
  if "storm" in [tags] {
    grok {
      match => { "message" => "%{TIMESTAMP_ISO8601:logdate}" }
      break_on_match => false
    }
    date {
      match => ["logdate","yyyy-MM-dd HH:mm:ss.SSS"]
      target => "@timestamp"
    }
    mutate {
      remove_field => ["@version"]
    }
  }
  if "aiv" in [tags] {
    grok {
      match => [
        "message","\[%{DATA:traceId}\]\[%{DATA:loglevel}\]\[%{DATA:logtime}\]"
      ]
      break_on_match => false
    }
    date {
      match => ["logtime","yyyy-MM-dd HH:mm:ss SSS"]
      target => "@timestamp"
    }
    mutate {
      remove_field => ["@version","logtime","traceId","loglevel"]
    }
  }
}

output {
 if "aiv" in [tags] {
    elasticsearch {
      hosts => ["http://10.140.20.198:9200","http://10.140.20.199:9200"]
      index => "aiv2-%{+YYYY.MM.dd}"
    }
 }else if "storm" in [tags] {
    elasticsearch {
      hosts => ["http://10.140.20.198:9200","http://10.140.20.199:9200"]
      index => "storm-%{+YYYY.MM.dd}"
   }
  }else {
    file{
      path => "/tmp/*/*.log"
    }
 }
}

四、filebeat排错

如果你发现没有启动成功，可以执行 cd /usr/bin，在这个目录下执行./filebeat -c /etc/filebeat/filebeat.yml -e，这样会提示具体的错误信息
filebeat删除元数据，重新读取数据创建索引（解决）
背景：filebeat搜集同一文件，修改filebeat中自定义tag和logstash中定义的索引名称，重启后不生效，es中未创还能对应的索引
解决办法
mv /var/lib/filebeat/registry/filebeat/log.json /tmp
systemctl restart filebeat
查看对应索引是否创建
curl -u elastic:123456 -XGET 'http://localhost:9200/_cat/indices?v&pretty'

五、安装配置kibana，并启动

rpm -ivh kibana-7.17.4-x86_64.rpm
cp /etc/kibana/kibana.yml /etc/kibana/kibana.yml.bak
sed -i 's/#elasticsearch.username: "kibana_system"/elasticsearch.username: "kibana"/g' /etc/kibana/kibana.yml
sed -i 's/#elasticsearch.password: "pass"/elasticsearch.password: "123456"/g' /etc/kibana/kibana.yml

systemctl start kibana

防火墙开放5601端口
要加油呀
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用 ELK 收集日志
Huangjiazhen711的博客
09-13 1571
在当前分布式、微服务架构下，各个应用都部署在不同的服务器上，每个应用都在记录着自己重要或者不重要的日志信息。当我们要通过日志信息来排查错误时，可以根据出错应用在对应的机器上找报错相关的日志信息。但是，可能我们不具有相应服务器的访问权限，也可能相同的应用部署在多台服务器上，导致根本不知道在哪台服务器上找日志。遇到类似这样的尴尬，想要通过日志来排查错误就搞得很麻烦。在这种情况下，ELK 为我们提供了统一的日志管理解决方案，它能很好的支持 Logback 等日志框架，使得我们可以集中的管理不同应用输出的日志信息。
ELK可视化系统日志以及日志显示
qq_45268814的博客
10-26 2306
实现远程监控指定设备的nginx日志
elk(都是6.2.4重点-版本2-收集各类java日志-用filebeat
07-09
elk(都是6.2.4重点-版本2-收集各类java日志-用filebeat
elk(都是6.2.4重点-版本2-收集各类java日志-无filebeat
07-09
elk(都是6.2.4重点-版本2-收集各类java日志-无filebeat
Java整合ELK实现日志收集 之 Elasticsearch、Logstash、Kibana
最新发布
myStyle的博客
05-26 968
Elasticsearch：用于存储收集到的日志信息Logstash：用于收集并处理日志，将日志信息存储到Elasticsearch里面Kibana：通过Web端的可视化界面来查看日志（数据可视化）Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的存储库中。一、安装 Docker Compose 环境Docker Compose的安装# docker compose安装步骤设置权限。
ELK日志查询常用
搬山境KL攻城狮的修炼手册
09-24 1057
ELK日志查询
使用ELK搭建日志收集和分析系统
lonely_baby的博客
03-05 463
总之，使用ELK搭建日志收集和分析系统可以帮助企业和组织更好地管理和分析日志数据，识别问题和优化系统，提高系统的性能和稳定性。同时，也可以结合其他工具和技术使用，以满足不同场景和需求的要求。配置Kibana进行数据可视化和分析。配置Logstash收集日志数据。安装Elasticsearch。扩展和优化日志收集和分析系统。安装Java运行环境。安装Logstash。
ELK 海量日志收集架构设计
Qynwang的博客
05-17 711
一、架构图：ELK 技术栈架构设计图：从左往右看，BeatsFilebeatKafkaLogstashKibanaLog4j2Log4j2app.logerror.logslf4jLog4j2（1）slf4j：全称是Log4jLog4j2Log4j全称是，即是上面接口的一个实现，Log4j2是Log4j的升级版本，提高日志输出的吞吐量。
docker搭建简单elk日志系统5(logstash管道配置文件logstash.conf)
weixin_44835704的博客
04-24 1274
造成这个现象的原因是：@timestamp字段是filebeat收集日志的时间，但是filebeat收集日志并不是应用产生一条日志就收集一条，而是一批一批收集的，也就是最上面两条日志是同一批次收集的，es并不能区分同一批里面日志的先后顺序；而日志里面的时间才是日志真实产生的时间，@timestamp只是收集日志的时间；设置数据流主要是方便设置索引的生命周期，日志会不断地产生，但是磁盘确实有限的资源，所以需要给索引设置生命周期，自动删除那些老旧的日志，为新的日志腾出空间；同logstash.yml中的配置。
FileBeat-日志收集器
a1991376352的博客
07-25 1560
Filebeat是一个开源的文本日志收集器，它是elastic公司Beats数据采集产品的一个子产品，采用go语言开发，一般安装在业务服务器上作为代理来监测日志目录或特定的日志文件，并把它们发送到logstash、elasticsearch、redis或Kafka等。可以在官方地址。...
Elk+filebeat搭建日志系统1
08-03
Filebeat是ELK栈中的轻量级日志代理，主要用于收集和转发应用程序产生的日志。在本场景中，Filebeat会监视指定的日志文件或目录，一旦检测到新的日志条目，就会将其发送给Logstash进行进一步处理。Filebeat的优点...
通过elk收集微服务模块日志.doc
09-27
1.Filebeat：filebat是一个用于转发和集中日志数据的轻量级shipper。作为代理安装在服务器上，filebeat监视指定的日志文件或位置，收集日志事件，并将它们转发给ElasticSearch或logstash进行索引。 2.Logstash：Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到存储库。 3.ElasticSearch：Elasticsearch 是基于 JSON 的分布式搜索和分析引擎，专为实现水平扩展、高可靠性和管理便捷性而设计。 4.Kibana：Kibana 能够以图表的形式呈现数据，并且具有可扩展的用户界面，供您全方位配置和管理 Elastic Stack。
通过elk收集微服务模块日志
09-28
通过elk收集微服务模块日志 通过elk收集微服务模块日志
java日志数据的采集显示
06-06
java日志数据的采集显示
efk7.13搜集java日志-filebeat配置详解
06-29
efk7.13搜集java日志—filebeat配置详解笔记总结
第四章：项目：ELK+Filebeat+Redis部署海量日志分析平台1
08-08
Filebeat是一款轻量级的日志收集工具，作为Logstash的替代品，它更节省资源，适用于在各个服务器节点上运行。Filebeat会监控服务器的日志文件，一旦有新的日志条目生成，就会将其发送到指定的目的地，通常是Redis。...
ELK详解（十二）——多行日志收集
永远是少年
04-07 1285
今天继续给大家介绍Linux运维相关知识，本文主要内容是Logstash的多行日志收集。 一、Logstash日志收集新问题 二、Logstash配置详解 三、效果展示
filebeat采集日志到es并通过java读取日志
kay
09-29 2913
1.日志格式 不同的日志格式需要不同的解析方式，这里的日志格式为时间开头的内容，我们就根据每个时间开头来分割日志，日志形式如下： 2021-09-30 14:21:31.962 [http-nio-50003-exec-9] ERROR com.elco.spring.advice.ExceptionAdvice - 业务异常 com.elco.core.exception.BusinessException: 该编码不存在 at com.elco.eam.maindata.service.Dict
Java实现日志数据的采集显示
m0_37920188的博客
06-06 5010
1.日志实体类，用户记录用户登录登出 LogRec.java package q.dms.test;import java.util.Date;/** * 实体类 包含用户登录的id,ip,userName,Long_in,Log_out,address,type * * @author sky_mg 2017年6月4日下午3:07:44 * TODO 记录用户登录,登出信息记录
filebeat采集日志输出到redis配置方法
03-11
可以在filebeat.yml文件中配置输出到redis的方式，具体配置方法如下： 1. 在filebeat.yml文件中添加以下配置： output.redis: hosts: ["redis_host:redis_port"] key: "filebeat" db: 0 其中，redis_host为redis服务器的IP地址，redis_port为redis服务器的端口号，key为存储日志的键名，db为存储日志的数据库编号。 2. 保存并重启filebeat服务，即可将采集的日志输出到redis中。 注意：在使用redis输出时，需要安装filebeat的redis模块，具体安装方法可以参考官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值