ELK Stack
文章平均质量分 90
cuixuange
https://github.com/cuixuage
展开
-
ELK Stack之filebeat使用
filebeat基础用法: filebeat作为轻量采集端,收集数据传送给logstash ;logstash接收并输出到es中去 优势:轻量级的收集,支持分布式;最终master仅需少数几台即可 多看看filebeat.yml注释说明,看看官网上的讨论就差不多能使用了,也都是些基础的东西。感觉最深的就是能看进去英文文档了,各种看,确实看多了,做的也就越来越快原创 2016-12-20 20:55:04 · 3334 阅读 · 0 评论 -
logstash+grok+json+elasticsearch解析复杂日志数据(一)
这几天学习了logstash写配置文件conf解析包含部分json数据格式的日志数据,并在elasticsearch以及kibana进行直观的数据浏览。对于logstash有了更加深入的了解,logstash在运维方面是开源的日志收集框架,其中包含了许多插件,下载的时候就包含在其中了,比较常用的有输入插件,输出插件,codec编码插件,filter过滤器插件,输出插件等等,甚至还有许多美未能进入官原创 2016-11-25 11:46:52 · 27614 阅读 · 4 评论 -
elasticsearch+logstash之间传输效率以及es-sql查询效率简单测试
对于logstash解析大批量数据并传输到elasticsearch中的过程简单进行一些数据的测试,条件4G内存,logstash中配置index.refresh_interval=5s,(这个数据是es索引刷新速率,就是数据传输到es中,es不会实时展示,延迟五秒,一般来说es配置1s),index.refresh_interval的增加可以较大提高插入数据的效率,特别的,可以将其改为-1,等到原创 2016-11-11 21:15:59 · 9065 阅读 · 0 评论 -
logstash+grok+json+elasticsearch解析复杂日志数据(二)
接着上面一篇来说,这篇主要介绍logstash处理实时数据问题,日志数据更新时,logstash处理方式是默认每15s检查一次文件夹,每5秒检查一次文件,这些参数可以改变的。遇到当处理较多批次数据时,logstash出现卡死状态的原因,我目前猜测是输入文件较多logstash处理很快,而输出插件input elasticsearch这个插件线程限制,导致的死锁问题,后面详细说。最后展示一下ki原创 2016-10-19 19:48:07 · 9217 阅读 · 0 评论 -
(elk)Elasticsearch+Logstash+Kibana在ubuntu下安装配置及检验
新手一枚,在windows,xshell+putty远程登录linux虚拟机,虚拟机上的ubuntu,全部装上了这三种软件,为后面的日志分析做一点基础准备吧。在这里面的配置过程中也遇到了几个问题,在文章后面会提到,也学习了不少新东西,这两天来的收获如下:1、下载(ELK三个软件+jre环境) 不多说了,各种版本找自己合适的就行,官网:https://www.elastic.co/ ,原创 2016-10-12 19:10:08 · 1658 阅读 · 0 评论 -
Elasticsearch Java API 之Index type mapping json创建修改
Elasticsearch 关于java的api网上有不少资料了,我打算把这些天的内容整理一下发上来。主要说一下如何使用java 对于es搜索引擎创建一个新的mapping。不过再上代码之前有几点总结说一下哈,我觉得是有不少新手不清楚的: 1.索引index索引可能有多个类型type,每个类型有自己的映射mapping,不同类型的文档可以存放在同一个索引中 2.类型type包含原创 2016-12-05 21:17:03 · 6619 阅读 · 0 评论