部署ELK,采集业务日志和分析

本文介绍了如何配置Logstash采集业务应用日志并传输到Elasticsearch,解决部署过程中遇到的JVM内存溢出、ES启动报错等问题。同时,展示了在Kibana上进行日志的可视化分析,包括柱状图和饼状图等,并提供了官方文档链接及数据集导入示例。
摘要由CSDN通过智能技术生成

采集业务应用日志配置:选择日志源,配置logstash采集并输送到elasticSeach   

常见问题解决
    1、JVM内存溢出导致的 ES或者Logstash服务启不来,报错 insufficient memory
        解决:升级机器的内存和CPU;
        或者改elasticSeach和logstash的JVM.option,最大堆内存xmx和初始堆内存xms


    2、ES启动报错
        seccomp unavailable: CONFIG_SECCOMP not compiled into kernel, CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER are needed
        
        修改elasticsearch.yml 添加一下内容            
        bootstrap.memory_lock: false   为了避免内存和磁盘之间的swap
        bootstrap.system_call_filter: false  

    3、ERROR: bootstrap checks failed
        max virtual memory areas vm.max_map_count [65530] is too low, increase to at least 

        临时设置:sudo sysctl -w vm.max_map_count=262144
        永久修改:
        修改/etc/sysctl.conf 文件,添加 “vm.max_map_count”设置
        并执行:sysctl -p

采集业务应用日志应用:通过kibana的web管理界面,建立简单的日志分析功能
项目实战系列之Kibana图形、报表分析

业务应用日志在Kibana上的可视化分析,柱状图,饼状图等

    

  1. 官方文档地址:https://www.elastic.co/guide/en/kibana/current/tutorial-load-dataset.html
  2. 下载数据集:wget https://download.elastic.co/demos/kibana/gettingstarted/accounts.zip
  3. 解压 unzip accounts.zip  
  4. 导入数据到es中:
    • curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/bank/account/_bulk?pretty' --data-binary @accounts.json
  5. 示例地址:https://www.elastic.co/guide/en/kibana/current/tutorial-visualizing.html

 

 

 

 

 

 

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值