AndyLizh的专栏

给人生一个梦,给梦一条路,给路一个方向!

快速认识 ELK 中的 L:Logstash

简介 Logstash   是一个开源的数据采集引擎。 Logstash 就像是一个管子,左面接数据源接收数据,右面接存储目的地,管子中间有过滤器,对接收到的数据进行过滤,只存储符合要求的数据。 例如 左面可以对接 日志文件 、 Reids 、 Kafka   ……   ...

2017-04-21 19:02:39

阅读数 599

评论数 0

Logback和Logstash的集成

有一段时间没有关注Logstash这个项目了,现在几个项目统一在ElasticSearch下面了。可喜! http://www.elasticsearch.org/overview/elkdownloads/ Logstash是什么 大家在每台服务器上都有Log,规模小的话,一台一台机器...

2017-04-21 18:27:41

阅读数 1643

评论数 0

ELK实时日志分析平台环境部署--完整记录

在日常运维工作中,对于系统和业务日志的处理尤为重要。今天,在这里分享一下自己部署的ELK(+Redis)-开源实时日志分析平台的记录过程(仅依据本人的实际操作为例说明,如有误述,敬请指出)~ 一、概念介绍 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务...

2017-04-21 18:21:54

阅读数 2152

评论数 0

logstash日志分析的配置和使用

logstash是一个数据分析软件,主要目的是分析log日志。整一套软件可以当作一个MVC模型,logstash是controller层,Elasticsearch是一个model层,kibana是view层。       首先将数据传给logstash,它将数据进行过滤和格式化(转成JSO...

2017-04-21 18:20:20

阅读数 4035

评论数 0

spring mvc+ELK从头开始搭建日志平台

spring mvc+ELK从头开始搭建日志平台   最近由于之前协助前公司做了点力所能及的事情,居然收到了一份贵重的端午礼物,是给我女儿的一个乐高积木,整个有7大包物件,我花了接近一天的时间一砖一瓦的组织起来,虽然很辛苦但是能够从过程中体验到乐趣。这次将分享从头搭建分布式日志系统,主要是...

2017-04-21 18:05:21

阅读数 1327

评论数 0

Logstash使用grok过滤nginx日志(二)

在生产环境中,nginx日志格式往往使用的是自定义的格式,我们需要把logstash中的message结构化后再存储,方便kibana的搜索和统计,因此需要对message进行解析。   本文采用grok过滤器,使用match正则表达式解析,根据自己的log_format定制。 1、n...

2017-04-21 13:58:13

阅读数 3084

评论数 0

logstash通过kafka传输nginx日志(三)

单个进程 logstash 可以实现对数据的读取、解析和输出处理。但是在生产环境中,从每台应用服务器运行 logstash 进程并将数据直接发送到 Elasticsearch 里,显然不是第一选择:第一,过多的客户端连接对 Elasticsearch 是一种额外的压力;第二,网络抖动会影响到 lo...

2017-04-21 13:57:23

阅读数 2081

评论数 0

Logstash利用GeoIP库显示地图以及通过useragent显示浏览器(四)

我们通过Logstash收集的Nginx Access log中已经包含了客户端IP的数据(remote_addr),但是只有这个IP还不够,要在Kibana的显示请求来源的地理位置还需要借助GeoIP数据库来实现。GeoIP 是最常见的免费 IP 地址归类查询库,同时也有收费版可以采购。GeoI...

2017-04-21 13:56:25

阅读数 2082

评论数 0

ELK搭建日志联合分析系统

上一篇ELK安装简单说了下安装ELK,这一篇就来具体说下怎么让者三个联动起来。  其工作流程如下图所示,(从Kibana官网拿的流程图)  简单来讲,其具体流程是logstash agent 监控并过滤日志,将过滤后的日志内容发给Redis(这里的redis只处理队列不做存储),log...

2017-04-21 13:28:36

阅读数 478

评论数 0

Kibana的图形化——Tile Map

简介   当我们查看访问网站的流量的来源时,往往通过awk+sed或其他工具分析日志文件,有没有一种方式可以实时查看并且在地图上直观的表现出来?当然,我们的Kibana就可以做到,下面我们来看看如何配置吧。 配置 本文是在http://http://blog.csdn.net/yanggd1...

2017-04-21 13:19:36

阅读数 1046

评论数 0

Logstash利用GeoIP库显示地图以及通过useragent显示浏览器(四)

我们通过Logstash收集的Nginx Access log中已经包含了客户端IP的数据(remote_addr),但是只有这个IP还不够,要在Kibana的显示请求来源的地理位置还需要借助GeoIP数据库来实现。GeoIP 是最常见的免费 IP 地址归类查询库,同时也有收费版可以采购。GeoI...

2017-04-20 18:12:17

阅读数 457

评论数 0

Logstash过滤器--Geoip

Geoip过滤器可以给IP地址添加地理位置信息,包括归属地、经纬度等。Geoip参考的数据库是Maxmind,同时它也可以让用户设置自己的查询数据库。 Geoip的基本配置: geoip { source => ... }123123 配置参数: 1. add_f...

2017-04-20 18:10:36

阅读数 1409

评论数 0

安装GeoIP数据库

1.安装GeoIP数据库      cd /usr/local/logstash/etc   curl -O "http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz"   gunzip...

2017-04-20 18:09:52

阅读数 1981

评论数 0

logstash配置文件详解

背景 业务目的是能够分析nginx和apache每天产生的日志,对url、ip、rest接口等信息进行监控,并将数据发送到elasticsearch服务。 config 输入 从日志文件中获取信息 file { path => "/home/kee...

2017-04-20 18:08:37

阅读数 742

评论数 0

ELK日志处理之使用logstash收集log4J日志

介绍一下如何从Java工程中导出log4J日志到Logstash。 一、log4j基础 不能免俗的官方介绍: Log4j 是一个使用 Java 语言编写的,可靠、快速、灵活的日志框架(API),使用 Apache Software License 授权。它被移植到 C、C++、C#、Pe...

2017-04-20 11:47:24

阅读数 5662

评论数 4

logstash搭建日志追踪系统

前言 开始博客之前,首先说下10月份没写博客的原因 = =。 10月份赶上国庆,回了趟老家休息了下,回来后自己工作内容发生了点改变,开始搞一些小架构的东西以及研究一些新鲜东西,当时我听到这个消息真的是开心得不得了, 0 0。 然后就是把搜索模块交给我搞了,哇咔咔,以前学过lucene和sol...

2017-04-20 11:21:31

阅读数 1863

评论数 0

ELK结合logback搭建日志中心

ELK简介ELKStack即Elasticsearch + Logstash + Kibana。日志监控和分析在保障业务稳定运行时,起到了很重要的作用。比如对nginx日志的监控分析,nginx是有日志文件的,它的每个请求的状态等都有日志文件进行记录,所以可以通过读取日志文件来分析;redis的l...

2017-04-20 10:31:54

阅读数 2429

评论数 0

使用logback轻松管理日志

最近才开始在项目中使用logback,有一种相见恨晚的感觉,因为它很轻易的满足了我的几个需求:         1. 配置简单,易于上手         2. 一个日志文件中只能某一个级别的日志         3. 一个类中可以指定多个不同的日志,并且生成的每个日志文件...

2017-04-20 10:24:00

阅读数 1165

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭