logstash
wang_quan_li
高级工程师,CSAI顾问团顾问,PHP策进会(PEA)兰州常委,首批陇原青年创新人才扶持计划人选,甘肃省省属科研院所科技创新团队——情报研究与信息服务模式创新团队成员。先后取得程序员、软件设计师、系统分析师资格。
展开
-
安装logstash提示/usr/bin/java: No such file or directory
Debian 平台wget -O - http://packages.elasticsearch.org/GPG-KEY-elasticsearch | apt-key add -cat >> /etc/apt/sources.list <<EOFdeb http://packages.elasticsearch.org/logstash/5.0/debian stable mainEO原创 2016-08-18 09:05:06 · 3469 阅读 · 0 评论 -
使用Logstash分析纪录Nginx服务器访问及错误日志
编写配置文件, 从 Nginx access.log, error.log 中解析日志数据# nginx-logstash-pipeling.conf# 输入input { file { type => "nginx-access" path => "/var/nginx/access.log" start_position =>原创 2016-09-09 17:21:50 · 1020 阅读 · 0 评论 -
从头搭建Logstash+ElasticSearch+Kibana
搭建Logstash是任何一个SA都要做的事情。写一个简单的博客存下来为了下次好重新搭建。当然基础的下载和配置我就不管了: ElasticSearch:https://www.elastic.co 可以相应的找到子集需要的安装程序LogstashLogstash是一个日志简单的处理系统。其核心部分分为:接收,过滤,输出。 一个简单的Logstash的配置类似于 in转载 2016-08-19 16:11:34 · 573 阅读 · 0 评论 -
elasticsearch2.3.5启用search guard2后logstash的配置
input { redis { host => "127.0.0.1" port => 6379 type => "redis-input" data_type => "list" key => "key_count" }}output {# stdout {}原创 2016-09-01 14:38:20 · 469 阅读 · 0 评论 -
使用logstash收集nginx访问日志
首先安装logstash,这个非常简单,不赘述。建议把所有插件都安装上,省心。然后要配置一下logstash for nginx。logstash基本原理:input => filter => output。在我们这里input就是nginx的access日志,output就是ElasticSearch。filter则是用来解析和过滤日志用。一般我们要把message结构化再存储,方便后面的搜转载 2016-09-06 17:29:50 · 2127 阅读 · 0 评论 -
windows下安装logstash
1.下载软件Logstash: https://download.elastic.co/logstash/logstash/logstash-2.3.4.zip2.下载JDK安装java环境,把安装路径添加JAVA_HOME 的环境变量3.配置logstashcd 到logstash文件夹的下bin目录创建配置文件 logstash.conf ,内容如下,原创 2016-09-19 13:51:40 · 4427 阅读 · 1 评论 -
使用Logstash作为收集端采集IIS日志
LS客户端配置文件input中使用file及eventlog模块分别对IIS及Windows Event Log进行采集;filter中用grok对日志进行分隔处理;output将过滤后的日志传至redis。input { file { type => "IIS" path => "D:\iislog\xxx.xxx.com\W3SVC663037409/转载 2016-09-20 15:46:23 · 983 阅读 · 0 评论 -
ELK 大规模日志实时处理系统应用简介
ELK 是软件集合 Elasticsearch、Logstash、Kibana 的简称,由这三个软件及其相关的组件可以打造大规模日志实时处理系统。其中,Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎,主要负责将日志索引并存储起来,方便业务方检索查询。Logstash 是一个日志收集、过滤、转发的中间件,主要负责将各条业务线的各类日志统一收集、过转载 2016-09-08 14:16:18 · 867 阅读 · 0 评论 -
logstash获取php_error.log,php-fpm.log,php-fpm-slow.log
php-fpm-slow.log的过滤配置如下:filter { if [type] == "php-fpm-slow" { multiline { pattern => '^(\[0x0|script_filename|$)' what => 'previous' negate => false }原创 2016-09-22 11:19:33 · 1268 阅读 · 0 评论