【大数据】ELK
文章平均质量分 61
21989939
这个作者很懒,什么都没留下…
展开
-
ELK 工作栈
ELK技术栈介绍一、 ELK工作栈简介1. 简介 ELKStack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合,三者通常是配合共用,而且又都先后归于 Elastic.co 公司名下,故有此简称。 ELKStack 在最近两年迅速崛起,成为机器数据分析,或者说实时日志处理领域,开源界的第一选择。和传统...原创 2018-03-11 08:14:42 · 979 阅读 · 0 评论 -
Logstash学习3_通过Kafka传输数据给logstash-1.4和logstash-1.5
目录(?)[-]通过kafka传输kafka 基本概念小提示插件安装logstash-14 安装logstash-15 安装小贴士插件配置Input 配置示例Input 解释注意Output 配置Output 解释消息模式相关小贴士性能队列监控input-kafka 的 JSON 序列化性能其他方案通过kafka传输Kafka 是一个高吞吐量的分布式发布订阅日志服务,具有高可用、高性能、分布式、高...转载 2018-03-11 21:07:30 · 510 阅读 · 0 评论 -
使用Logstash filter grok过滤日志文件
Logstash Filter Plugin GrokLogstash提供了一系列filter过滤plugin来处理收集到的log event,根据log event的特征去切分所需要的字段,方便kibana做visualize和dashboard的data analysis。所有logstash支持的event切分插件查看这里。下面我们主要讲grok切分。Grok基本介绍Grok 使用文本片段切...转载 2018-03-12 11:28:20 · 14136 阅读 · 0 评论 -
logstash配置文件详解
Logstash实际应用配置详解背景业务目的是能够分析nginx和apache每天产生的日志,对url、ip、rest接口等信息进行监控,并将数据发送到elasticsearch服务。config输入从日志文件中获取信息file { path => "/home/keepgostudio/demo/logs/test.log" start_position => "be...转载 2018-03-12 11:38:26 · 1102 阅读 · 0 评论 -
ELK日志处理之使用logstash收集log4J日志
介绍一下如何从Java工程中导出log4J日志到Logstash。一、log4j基础不能免俗的官方介绍:Log4j 是一个使用 Java 语言编写的,可靠、快速、灵活的日志框架(API),使用 Apache Software License 授权。它被移植到 C、C++、C#、Perl、Python、Ruby 和 Eiffel 语言中。Log4j 是高度可配置的,在运行期使用外部的配置文件对其进行...转载 2018-03-12 14:43:15 · 2976 阅读 · 3 评论