ELK
文章平均质量分 70
Wang_Zhenwei
这个作者很懒,什么都没留下…
展开
-
ELK学习12_Windows环境下安装ELK
在Windows服务器上安装ELKlogstash在windows平台下不能监控磁盘文件,用nxlog代替,监控文件并把内容发送到logstash 部署环境Os :Windows 7logstash版本:logstash-2.2.1elasticsearch版本:elasticsearch-2.2.0kibana版本:kibana-4.4转载 2017-10-16 22:52:07 · 451 阅读 · 0 评论 -
ElasticSearch学习31_学习汇总_Elasticsearch+Logstash+Kibana教程
Elasticsearch中文参考文档Elasticsearch官方文档Elasticsearch其他——那些年遇到的坑Elasticsearch 管理文档Elasticsearch集群配置以及REST API使用Elasticsearch集群管理Elasticsearch 数据搜索篇·【入门级干货】Elasticsearch使用RE转载 2017-10-10 21:23:53 · 828 阅读 · 0 评论 -
ELK学习11_ELK Stack交流群问题汇总一
备注:以下问题来自ELK stack交流群,对交流群中他人提到的问题进行汇总,如果以后自己遇到的话,也可以有所帮助。ELK Stack交流群:315428175Elastic中文社区:1906058461、logstash占用的系统内存不断飙升怎么解决?答:logstash最新版2.1.1已经修复该问题。原创 2016-01-13 16:41:14 · 1446 阅读 · 0 评论 -
ELK学习10_ELK系列--实时日志分析系统ELK 部署与运行中的问题汇总
前记:去年测试了ELK,今年测试了Storm,最终因为Storm需要过多开发介入而放弃,选择了ELK。感谢互联网上各路大神,目前总算是正常运行了。logstash+elasticsearch+kibana的搭建参考:http://wsgzao.github.io/post/elk/。由于搭建过程比较简单就不赘述,主要分享几个坑。 正文:1、日志如何获取转载 2015-12-21 14:50:06 · 3705 阅读 · 2 评论 -
ELK学习9_ELK数据流传输过程_问题总结2
目的:使用Java程序把一个.csv文件发送给Kafka,再发送给ELK实验步骤:见以前的博客遇到的问题:一、直接发送比较大的.csv文件,ELK接到的汉字内容是乱码的发送比较小的.csv文件,ELK接到的汉字内容正常猜测:是否是Kafka出错二、把大的.csv文件拆分成多个小.csv文件发送,发送过程中,会不定期报错报错内容如下[2015-12-1原创 2015-12-13 19:06:26 · 1568 阅读 · 0 评论 -
ELK学习8_ELK数据流传输过程_问题总结1
数据流传输过程描述:使用Java程序,读取本地的.csv文件;发送给集群中的Kafka;Kafka将数据传给Logstash,这个过程中,Logstash中设置有filter,对字符串进行匹配或过滤;ES对数据进行检索。问题一:Filter会对Logstash处理数据的速度产生影响。如果对所有字段进行匹配,并将格式转换为需要的,处理时间会很长,很可能每秒只能处理原创 2015-11-17 23:52:26 · 2440 阅读 · 0 评论 -
ELK错误1_Kafka->Logstash->Elasticsearch过程,Elasticsearch报grokparsefailure错误
实验背景:Kafka->Logstash->Elasticsearch实验环境安装完成;Logstash的启动文件设置有过滤机制;Logstash启动文件:input {kafka { zk_connect => "10.10.16.252:2181,10.10.16.253:2181,10.10.16.249:2181" group_id => "test-con原创 2015-11-10 09:51:18 · 5792 阅读 · 0 评论 -
ELK学习7_ELK文档资料:《ELK stack 权威指南/饶琛琳》勘误
新作《ELK stack权威指南》已经上架销售,考虑到个人精力有限,笔误、差错肯定在所难免。特开这个页面作为勘误清 单,也包括一些书中技术经过重大更新不在适用或推荐的简略说明。如果大家有发现书中错误且尚未列出的,欢迎通过留言、邮件、微博等各种方式联系我~~错误8 页,”希尔值”应为”布尔值”;(感谢desti)10 页,”我们必把”应为”我们必须把”;(感谢HugoYa转载 2015-11-02 11:19:04 · 1546 阅读 · 0 评论 -
ELK学习6_Kafka->Logstash->Elasticsearch数据流操作
Logstash配置过程在Logstash中建立input和output的条件:[hadoop@Slave1 ~]$ cd /usr/local/[hadoop@Slave1 local]$ cd logstash/[hadoop@Slave1 logstash]$ lsbin CONTRIBUTORS Gemfile.jruby-1.9.lock LICEN原创 2015-10-29 16:19:34 · 10332 阅读 · 0 评论 -
ELK学习5_ELK文档资料:《ELK stack 权威指南/饶琛琳》推荐
《ELK stack 权威指南/饶琛琳》的内容在网上共享有电子版,网站地址是: http://kibana.logstash.es/原创 2015-10-26 17:42:01 · 14794 阅读 · 0 评论 -
ELK学习4_Elasticsearch+Logstash+Kibana安装_简易版
ELK安装 下载地址:Elastic相关组件下载总地址:https://www.elastic.co/downloads ES下载地址:https://www.elastic.co/downloads/elasticsearch Elastic Search1.4.1下载地址:https://www.elastic.co/downloads/past-rel原创 2015-10-23 14:50:16 · 1239 阅读 · 0 评论 -
ELK学习3_使用redis+logstash+elasticsearch+kibana快速搭建日志平台
日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有:根据关键字查询日志详情监控系统的运行状况统计分析,比如接口的调用次数、执行时间、成功率等异常数据自动触发消息通知基于日志的数据挖掘很多团队在日志方面可能遇到的一些问题有:开发人员不能登录线上服务器查看详细日志,经过运维周转费时费力日志数据分散在多个系统,难以查找日志数据量大,查转载 2015-10-23 14:37:26 · 3533 阅读 · 0 评论 -
ELK学习1_开源分布式搜索平台ELK+Redis+Syslog-ng实现日志实时搜索
Logstash + Elasticsearch + Kibana+Redis+Syslog-ngElasticSearch是一个基于Lucene构建的开源,分布式,RESTful搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。支持通过HTTP使用JSON进行数据索引。logstash是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来转载 2015-10-19 09:56:24 · 3370 阅读 · 2 评论 -
ELK学习2_用Kibana和logstash快速搭建实时日志查询、收集与分析系统
Logstash是一个完全开源的工具,他可以对你的日志进行收集、分析,并将其存储供以后使用(如,搜索),您可以使用它。说到搜索,logstash带有一个web界面,搜索和展示所有日志。kibana 也是一个开源和免费的工具,他可以帮助您汇总、分析和搜索重要数据日志并提供友好的web界面。他可以为 Logstash 和 ElasticSearch 提供的日志分析的 Web 界面说到这里,我们转载 2015-10-19 20:02:08 · 2078 阅读 · 3 评论 -
ELK学习13_logstash启动报错[logstash.outputs.elasticsearch] Unknown setting 'host' for elasticsearch
启动elasticsearch后:[admin@ELK config]$ netstat -tnlp|grep java(Not all processes could be identified, non-owned process info will not be shown, you would have to be root to see it all.)tcp6 0转载 2017-11-19 22:41:23 · 5557 阅读 · 0 评论