Elastic
jianblog
系统运维。
perl,python
django
ansible,saltstack
展开
-
elastic笔记:logstash插件安装
logstash安装版本:5.2.1按照官方文档直接执行logstash-plugin install logstash-filter-dissect八成会报错。 需要确保运行环境以及参考插件仓库 步骤。运行环境ruby,ruby,gem,bundle的安装。安装ruby 下载ruby2.3.3源码包,解压,进入目录执行:./configure --prefix=/usr/local/ru原创 2017-02-17 00:20:24 · 2374 阅读 · 0 评论 -
ELK测试笔记:filebeat与logsmash写入redis
需求场景 监控nginx日志并读取缓存到redis,后端logstash读取。其中nginx日志已经按照json格式进行输出。以下测试分别使用filebeat和logstash对相同输入(stdin)情况下,是否能正确得到json相应字段。filebeat采集## 采用stdin进行测试- input_type: stdin#-------------- Redis output -------原创 2017-01-16 22:41:17 · 7483 阅读 · 0 评论 -
ELK测试笔记-filebeat输出到logstash
测试说明通过filebeat监控nginx日志(已配置为json格式)。之后直接输出到logstash。filebeat配置增加部分: output.logstash: # The Logstash hosts hosts: [“192.168.100.34:5044”] index: shopweblogstash配置input { beat { por原创 2017-01-17 09:50:08 · 19252 阅读 · 2 评论 -
ELK测试:logstash解析nginx时间字段
下面比较 nginx配置中输出日志格式的时间字段在两种格式下的解析方法:$time_iso8601log_format json '{"@timestamp":"$time_iso8601",' '"host":"$server_addr",' '"clientip":"$remote_addr",'原创 2017-01-17 17:18:23 · 7275 阅读 · 0 评论 -
Elastic测试笔记:logstash读取redis,指定时间字段
环境前端filebeat 读取nginx日志(json格式),输出到中间redis,后端logstash从redis读取并解析。## filebeat.yml- input_type: log paths: - /var/log/nginx/prod_access.json document_type: "access_log" ## 定义了type字段 fields:原创 2017-01-22 16:16:01 · 2470 阅读 · 1 评论 -
elastic笔记:两种日志处理流程整理
日志的流向比较灵活,已经测试过的包括: filebeat —> logstash filebeat —> elastic filebeat —> redis logstash <—> redis logstash —> elasticlogstash –>redis –> logstash –> elastic早期利用的环境,由于跨不同网络,故中间使用redis作为中转。采集端 logst原创 2017-02-14 17:18:54 · 1103 阅读 · 0 评论 -
Elastic search问题笔记: scroll查询数据
elastic search在普通方式查询时会返回记录总数以及开头的若干条,即便指定from和相应的长度size也有总数限制。根据文档介绍,这时需要通过scroll分页查询,在初次查询时指定改方式,之后不断的调用scroll方法针对同_scroll_id会得到后续数据。就像通过一个固定的游标以及指定的窗口大小来不断滚动获得新的数据。from elasticsearch import Elastics原创 2017-02-12 22:30:15 · 6718 阅读 · 6 评论 -
elastic笔记:ik分词插件安装
ik中文分词插件安装原创 2017-02-21 12:23:07 · 617 阅读 · 0 评论 -
elastic5.2.1安装
elk: 5.2.1解压安装后主要的修改配置文件,如下:原创 2017-02-21 11:42:25 · 467 阅读 · 0 评论 -
elastic案例:logstash grok正则
环境:elasticsearch 5.1.1 logstash 5.2.1 现有业务日志需要分析处理,目前已知,日志条目采用‘||’进行分割,但字段含义并不完全一致。某个状态位的代码值决定了后面若干字段的含义。后考虑先从日志中筛选出一种进行分析。这里为登录信息。#日志格式示范一:[2017-02-20 22:30:08,455] [INFO] [c.r.c.fr原创 2017-02-20 23:33:33 · 2969 阅读 · 0 评论 -
Elasticsearch学习笔记:multi-fields
multi-fields It is often useful to index the same field in different ways for different purposes. This is the purpose of multi-fields. For instance, a string field could be mapped as a text field for原创 2017-02-08 16:16:27 · 3909 阅读 · 0 评论 -
nginx日志解析输出elasticstack
elastic stack 日志采集和解析分离,中间使用redis进行缓存原创 2016-12-27 15:55:21 · 547 阅读 · 0 评论