Elastic
mvpboss1004
这个作者很懒,什么都没留下…
展开
-
Elasticsearch使用syslog发送Watcher告警事件
Elasticsearch从5.0版本开始,把Watcher插件整合到了官方的X-Pack插件中。Watcher是Elasticsearch内置的计划任务管理器,定期执行某些脚本或查询语句,将结果用于告警。具体介绍见Alerting on Cluster and Index Events。 可但是、但可是,Watcher的告警模块十分蛋疼,设计了一堆Email、HipChat、Slack、Page原创 2017-04-13 23:56:24 · 3563 阅读 · 1 评论 -
ElasticSearch按日生成index的两种方法
我们经常会遇到这样的需求,即日志只保留一定天数,过期的删除。当然如果你存储无限大,请忽略此文。 注:以下会用到Date math。1. 使用Delete By Query API不靠谱Delete By Query API可以搜索文档并删除。使用这种方法,就是所有日志都在一个index里,然后搜索过期的日志并删除。例如:POST twitter/_delete_by_query{ "qu原创 2017-06-18 18:33:26 · 17076 阅读 · 1 评论 -
Logstash事件字段遍历
有时候我们需要对Logstash中event的每一个字段进行操作。但问题是,字段的名称和数量有可能是不确定,比如当输入时json时。这时就需要借助ruby filter中的event接口:input { stdin { codec => json }}filter { ruby { code => ' event.to_hash.each do |k, v原创 2017-09-23 11:49:14 · 5140 阅读 · 0 评论 -
Lostash event API详解
我们使用Logstash的ruby filter时,不可避免地要对event进行处理。然而蛋疼的是,Elastic的官方文档https://www.elastic.co/guide/en/logstash/5.6/event-api.html只给出了get和set两个API的描述。exm? 文档没有,只能看源码了。Event API的描述位于https://github.com/elastic/l原创 2017-09-23 13:20:34 · 2945 阅读 · 0 评论 -
Elasticsearch中X-Pack破解试用
X-Pack破解试用声明:本文仅作为学习交流,请勿用于商业用途,否则后果自负。如需使用黄金或白金版X-Pack请购买正版。 从5.0版本开始,Elastic将一些重要的插件整合成了X-Pack。免费的license只能使用一年,而且很多插件无法使用。如果想要试用,需要进行破解。 0. 首先完成原版X-Pack在Elastic上的安装。 1. 下载x-pack-5.2.0.zip,找到x-pac原创 2017-03-23 16:20:27 · 17660 阅读 · 16 评论 -
Logstash中ruby filter的调试器
ruby filter可以说是Logstash中最强大的一个filter了,通过自己编写ruby代码可以灵活地实现各种功能。显然,每次修改ruby filter后运行Logstash来调试是非常低效的。Logstash启动需要时间,而且错误信息只能在日志里看。最好的方法其实是复制几个消息,然后在irb中调试好ruby filter之后,再更新到Logstash配置文件中。 在Elastic 5.0原创 2017-08-11 13:23:18 · 6234 阅读 · 0 评论 -
ElasticSearch使用SQL
ElasticSearch一个非常不好的地方,就是查询语句写起来太麻烦,这个用过的人都深有体会。比如说,这么一个简单的查询:select count(*) from bonree_web where @timestamp between "now-3d/d" and "2017-07-08" group by CITY_CODE limit 3在ES里写出来的查询语句能有这么长:GET /bonre原创 2017-07-09 17:13:05 · 11662 阅读 · 7 评论 -
Kibana 5.x插件打包为离线安装包
Kibana有很多插件,可以制作基本功能以外的图表,官方提供的清单见https://www.elastic.co/guide/en/kibana/5.2/known-plugins.html。我们制作离线安装包,出于以下几方面考虑: - 生产环境的集群一般不能访问外网,无法通过在线下载方式安装; - Kibana插件的更新周期与Kibana的更新周期并不完全一致,导致在线安装有时会提示版本不原创 2017-04-04 18:13:17 · 3176 阅读 · 1 评论 -
坑爹的logstash条件判断
logstash可以使用条件判断来控制filter的执行。官方说明见Accessing Event Data and Fields in the Configuration。支持的运算符包括:equality: ==, !=, <, >, <=, >=regexp: =~, !~inclusion: in, not inboolean: and, or, nand, xorunary: !原创 2017-07-06 09:36:13 · 10025 阅读 · 0 评论 -
GrokDebug离线部署
本文主要参照了http://fengwan.blog.51cto.com/508652/1758845的思路。 GrokDebug是调试Logstash中Grok Filter的工具。虽然有一个在线网站http://grokdebug.herokuapp.com/,但是需要翻墙,而且对于企业内网来说用起来也不方便。本文介绍如何在在可以联网的情况下打好包,然后在隔离环境进行部署,系统为RHEL7.2原创 2017-07-10 21:22:34 · 1097 阅读 · 0 评论 -
ElasticSearch使用Array
ElasticSearch允许使用Array作为数据类型。根据Array datatype的描述,Array中所有元素的数据类型必须和第一个元素的数据类型一样。 对于字符串、整数这些基本类型还好,但对于时间、IP这些需要额外指定格式的怎么办? 其实你什么都不用干……只要为该字段指定mapping即可,例如:PUT /bonree_web{ "mappings": { "_defau原创 2017-06-18 16:03:49 · 8267 阅读 · 0 评论 -
RedHat6.4安装Elasitcsearch5.2.0
RedHat6.4安装配置Elasitcsearch5.2.0elastic的5.2.0版本最近刚刚发布,相比之前版本变动很大,而且其中的所有组件(包括Elasticsearch、Kibana、X-Pack等)都统一到了5.2.0版本。为避免兼容性问题,建议所有组件都使用5.2.0版本。 本文使用环境:elastic 5.2.0套件+RedHat 6.4 64bit,也适用于CentOS。1. 下原创 2017-02-09 13:14:25 · 2408 阅读 · 0 评论 -
Linux安装配置ElasticSearch
1.下载签名rpm --import http://packages.elasticsearch.org/GPG-KEY-elasticsearch2.添加ES repo(以1.7版本为例)vim /etc/yum.repos.d/elasticsearch.repo[elasticsearch-1.7]name=Elasticsearch repository for 1原创 2016-10-12 19:45:28 · 397 阅读 · 0 评论 -
RedHat6.4安装Kibana5.2.0
RedHat6.4安装Kibana5.2.0安装Kibana前请确认Elasticsearch已经安装正确,参见RedHat6.4安装Elasitcsearch5.2.01. 下载安装下载链接为:kibana-5.2.0-x86_64.rpm 安装前,需要停止Elasticsearch。另外,强烈建议安装X-Pack。service elasticsearch stoprpm -i kibana原创 2017-02-09 16:51:45 · 1426 阅读 · 0 评论 -
Logstash使用grok解析IIS日志
Logstash使用grok解析IIS日志1. 安装配置安装Logstash前请确认Elasticsearch已经安装正确,参见RedHat6.4安装Elasticsearch5.2.0。 下载链接为:logstash-5.2.0.rpm。 下载完成后,rpm -i logstash-5.2.0.rpm即可安装。 Logstash默认的配置文件位置为./config和/etc/log原创 2017-02-10 00:15:42 · 8743 阅读 · 0 评论