yanggd1987的专栏

需求前面我们已经将SpringBoot项目部署在K8S中，此时需要filebeat收集日志并通过ELK进行展示，以用于后续的问题排查及监控。与传统的日志收集不同：pod所在节点不固定，每个pod中运行filebeat，配置繁琐且浪费资源；pod的日志目录一般以emptydir方式挂载在宿主机，目录不固定，filebeat无法自动匹配；pod持续增多，filebeat需要做到自动检测并收集；因此最后的收集方式为一个filebeat能够收集所有的pod日志，但是这就要求统一的日志收集规则、目录以

简介  ELKstack是由Elasticsearch、Logstash、Kibana三个开源软件组合而成的一款集分析、搜索、图形展示于一身的实施日志收集系统。 各个组件的功能如下： Elasticsearch：日志分布式存储、搜索工具，支持集群功能，可以将指定时间的日志生成一个索引，加快日志查询和访问。 Logstash:日志收集工具，可以从本地磁盘或网络环境的服务器中收集各种文件，然后进行

简介  当我们查看访问网站的流量的来源时，往往通过awk+sed或其他工具分析日志文件，有没有一种方式可以实时查看并且在地图上直观的表现出来？当然，我们的Kibana就可以做到，下面我们来看看如何配置吧。配置本文是在http://http://blog.csdn.net/yanggd1987/article/details/50460246博文基础上进行配置，所有的配置文件都可在博文中找到。1.安装

简介  Graphite 是一个数据绘图工具，安装完成之后需要喂它数据，就可以根据你的需要将数据生成制定的格式（绘图、json、xml等），还可以和Nagios结合完成报警功能。具体的数据采集工具是由第三方工具完成。   Graphite 支持的第三方工具很多，Bucky, collectd, Collectl, Charcoal, Diamond, Ganglia, Host sFlow, st

简介  Elasticsearch是一个实时分布式搜索和分析引擎，用于全文搜索、结构化搜索、分析以及将这三者混合使用。Elasticsearch实现全文索引，需要使用分词器，默认使用的standard分词器。由于本文介绍的是中文的全文检索，因此我们需要使用第三方插件的中文分词器，如ik分词器、mmsegf分词器，在此我们主要使用的是ik分词器。安装ik分词器1.首先，我们需要根据Elasticsea

简介  nagios+logstash实时监控java日志(一)中我们配置java日志输出到logstash的4800端口进行收集。此种收集方式有以下几个问题： 1.若INFO级别的日志量很大，java程序向logstash端口输出日志慢阻塞，导致java程序运行异常； 2.logstash进程可能宕掉，java无法输出日志，导致服务异常；  通过以上两种情况，我们还是调整下思路:java日志打

简介  nagios插件check_logfiles可以监控日志，但是实时性及监控效果都不尽如人意。因此介绍naigos的nsca被动监控结合logstash进行日志的实时监控。此种方式适合日质量比较比较小的情况下，如果日志量比较大，logstash还需要配合redis/kafka等工具进行。需求nagios 实时监控java日志，当日志中出现ERROR字段时，进行报警通知。 IP host

简介  前面我们的nginx日志编码使用的json，logstash直接输入预定义好的 JSON 数据，这样就可以省略掉 filter/grok 配置,但是在我们的生产环境中，日志格式往往使用的是普通的格式，因此就不得不使用logstash的filter/grok进行过滤，下面我们就来讲下如何配置。配置1.nginx日志格式 为了帮助我们有效的理解grok的正则表达式，因此在这我们将日志格式定义的