kibana 监控服务器
目录预览
1、需求说明
1.1 工具选择
2、metricbeat工具介绍
3、安装部署
3.1 下载
3.2 配置
3.3 安装
3.4 启动
4、验证
5、性能
6、维护
7、Troubleshooting
一, 需求说明
1.1 监控需求
随着公司平台和外网项目的更多使用,针对项目的云平台部署运用、和服务器的图形化监控需求被提上日程。本文档记录监控平台的选型到实际应用的过程。
1.2 监控选择
收集和分析日志是应用开发中至关重要的一环,互联网大规模、分布式的特性决定了日志的源头越来越分散,产生的速度越来越快,传统的手段和工具显得日益力不从心。在规模化场景下,grep、awk 无法快速发挥作用,我们需要一种高效、灵活的日志分析方式,可以给故障处理,问题定位提供更好的支持。ELK平台高效的日志收集和分析系统,是目前比较流行的日志收集方解决方案。
苏宁,Sina、饿了么、携程、华为、美团、freewheel、畅捷通 、新浪微博、大讲台、魅族、IBM…… 这些公司都在使用ELK。它是免费、开源、实用、易用的监控架构,很多公司利用它来搭建可视化的海量日志分析平台。
1.3 ELK 优势
- 强大的搜索功能,elasticsearch可以以分布式搜索的方式快速检索,而且支持DSL的语法来进行搜索,简单的说,就是通过类似配置的语言,快速筛选数据。
- 完美的展示功能,可以展示非常详细的图表信息,而且可以定制展示内容,将数据可视化发挥的淋漓尽致。
- 分布式功能,能够解决大型集群运维工作很多问题,包括监控、预警、日志收集解析等。
ELK组件在海量日志系统的运维中,可用于解决:
- 分布式日志数据集中式查询和管理
- 系统监控,包含系统硬件和应用各个组件的监控
- 故障排查
- 安全信息和事件管理
- 报表功能
ELK组件在大数据运维系统中,主要可解决的问题如下:
- 日志查询,问题排查,上线检查
- 服务器监控,应用监控,错误报警,Bug管理
- 性能分析,用户行为分析,安全漏洞分析,时间管理
同时elastic官网提供足够详细的文档,学习相对比较集中和能够获取到足够的帮助资料。官方更新版本迅速能带来更多的功能适用。但同时带来了干扰(不同软件更替针对不同版本,比如topbeat在kibana 5开始弃用;老版本kibana支持导入dashboard等)
1.4 选择参考:
公司项目大多数依赖windows server,所以采集工具需要能采集到windows服务器数据。
公司大多数外网服务器使用云服务器,受限于资源(特别是带宽),采集数据本身不能消耗太多服务器系统资源