elk/splunk
关注
分享
扫一扫
elk/splunk
gb4215287
这个作者很懒，什么都没留下…
展开
-
Splunk和ElasticSearch深度对比解析
随着Splunk越来越被大家熟知和认可，现在市面上也不断涌各种同类产品，作为大数据搜索界的翘楚Splunk和ElasticSearch，绝对值得我们去学习，探索和使用，因此为了造福Splunk的铁粉和新粉们，小编特邀了Splunk的资深架构师，江湖人称“陶指导”的陶刚为大家就架构，功能，产品线，概念等方面将Splunk和ElasticSearch做了一下全方位的对比，希望能够给大家在制定大数据搜索...转载 2019-12-19 14:26:24 · 2103 阅读 · 0 评论 -
环境搭建之日志搜集/采集服务系统对比(logtail/hadoop/elk/splunk/appender)
随着公司日益增长的业务，日志增长较快，各种bug层出不穷。为了快速定位问题以及做告警/数据分析等问题，就针对性的查看/搭建了几种日志服务系统。可能整理的不是那么正确或者详尽。但也记录一下，方便日后回顾时补充或者参考。对于整个日志服务的规划大概如下： 不同日志服务框架对比 阿里系 其他 ...转载 2019-12-19 14:24:13 · 795 阅读 · 0 评论 -
日志处理两大生态Splunk和ELK深度对比
随着Splunk越来越被大家熟知和认可，现在市面上也不断涌各种同类产品，作为大数据搜索界的翘楚Splunk和ElasticSearch，绝对值得我们去学习，探索和使用，因此为了造福Splunk的铁粉和新粉们，小编特邀了Splunk的资深架构师，江湖人称“陶指导”的陶刚为大家就架构，功能，产品线，概念等方面将Splunk和ElasticSearch做了一下全方位的对比，希望能够给大家在制定大数据搜索...转载 2019-12-19 14:20:18 · 913 阅读 · 0 评论 -
elk收集nginx日志
一 ：客户端logstash.conf配置文件input { file { path => "/usr/local/nginx/logs/access.log" type => "nginxlog" start_position => "beginning" # sincedb_path => "/home/l...转载 2018-11-29 19:25:37 · 317 阅读 · 0 评论 -
【附10】kibana创建新的index patterns
elk整体架构图：一、logstash indexer配置文件：input { stdin{}}filter { }output { elasticsearch { hosts => ["127.0.0.1:9200"] index => "mymicroservice-%{+YYYY.MM....转载 2018-11-29 15:07:34 · 3918 阅读 · 1 评论 -
ElasticSearch教程——创建索引、类型、文档
ElasticSearch汇总请查看：ElasticSearch教程——汇总篇介绍索引是ElasticSearch存放数据的地方，可以理解为关系型数据库中的一个数据库。事实上，我们的数据被存储和索引在分片(shards)中，索引只是一个把一个或多个分片分组在一起的逻辑空间。然而，这只是一些内部细节——我们的程序完全不用关心分片。对于我们的程序而言，文档存储在索引(index)中。剩下的细节...转载 2018-11-29 15:05:53 · 491 阅读 · 0 评论 -
elk中kibana中如何显示写入elasticsearch的数据
写入es的数据语句如下所示：curl -H "Content-Type: application/json" -XPOST 'http://192.168.32.137:9200/system-syslog-20181129/system-syslog' -d '{"first_name":"yuan","last_name":"mu","age":88,"about&quo原创 2018-11-29 15:02:46 · 9054 阅读 · 0 评论 -
搭建elsticsearch集群 报错 failed to send join request to master [{data-node-0}(已经测试)
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_24879495/article/details/77718032搭建elsticsearch集群的时候，先用windows 10和 ubuntu 16.04试了一下，发现可以。然后将虚拟机里的ubunut复制一份，然后一直报错如下：[2017-08-30T15:17:40,016]...转载 2018-11-29 13:45:18 · 1150 阅读 · 0 评论 -
elasticsearch6.x {"error":"Content-Type header [application/x-www-form-urlencoded] is not supported"
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/dtiove/article/details/78870607问题描述curl -XPOST 192.168.14.173:32000/test_index_1221/test_type/5 -d '{'user_name':"xiaoming"}'{"error":"Content-Type...转载 2018-11-26 15:07:50 · 737 阅读 · 0 评论 -
filebeat Template 报错(安装的时候遇到错误了用这个方法解决的)
filebeat安装的是 filebeat-6.4.2，因为是rpm安装的，默认的日志路径是cat /var/log/filebeat/filebeat，从这里面可以看相关的配置错误。filebeat-6.4.2配置如下所示:setup.template.name: "own*"setup.template.pattern: "own*" 我用 filebeat 推送日志到 es，...转载 2018-11-29 19:33:46 · 11486 阅读 · 1 评论 -
从0开始搭建ELK及采集日志的简单应用
关于ELK的理论介绍、架构图解说，很多博客都有很详细的讲解可以参考。本文主要记录了elk的简单搭建和简单应用。 安装前准备1、环境说明：IP 主机名 部署服务 10.0.0.101(centos7) test101 jdk、elasticsearch、logstash、kibana及filebeat(filebeat用于测试采集test101服务器自身m...转载 2018-11-29 19:35:42 · 359 阅读 · 0 评论 -
将redis加入到elk日志系统里
之前在http://blog.51cto.com/chenx1242/2048014 里面，我画的那个架构图里说了整个架构可以加入redis，但是在文章里我没有写到redis怎么加进去。为了让整个系统更好的分层，是非常建议引入 Redis 的，毕竟Redis 服务器是logstash官方推荐的broker选择。Redis 作为一个缓存，能够帮助我们在主节点上屏蔽掉多个从节点之间不同日志文件的差异，...转载 2018-11-30 16:48:19 · 358 阅读 · 0 评论 -
elk+redis分布式分析nginx日志
一.elk套件介绍ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。官方网站： https://www.elastic.co/productsElasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful 风格接口，多数据源，自动搜索负载等。Logstash 是一个...转载 2018-11-30 16:49:23 · 223 阅读 · 0 评论 -
elk 第二篇 , 为elk加入redis, 替换下beats（个人感觉不错2）
为elk加入redis, 替换下beats这是elk的第二篇文章编译安装日志分析平台 elk + filebeatelk支持多种输入输出方法 ,本文章主要描述通过redis做队列中间件 ,缓解elk平台的压力使用场景数据不可控时 ,例如日志不是文件 , 而是由TCP直接推送到elk的 ,filebeats就无法使用了当然redis是可以和beats一起使用的, 例如beats读...转载 2018-11-30 16:52:28 · 395 阅读 · 0 评论 -
编译安装日志分析平台 elk + beats（个人感觉不错1）
这是elk系列的第1篇文章本文主要描述如何安装和配置elk, 并利用beats来取出数据推送到logstash,使之正常提供服务流程图开始之前假设您已经拥有一台内存至少1G的linux计算机或虚拟机并且安装了screen命令并且您应该了解screen命令的使用 , 如果不了解您可以粗略的看一下 screen简明教程下载安装包java http://www.o...转载 2018-11-30 16:58:56 · 390 阅读 · 0 评论 -
ELK自动安装脚本
一、简介ELK由Elasticsearch、Logstash和Kibana三部分组件组成；Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用kibana 是一个开源和免费的工具，...转载 2018-11-30 17:16:06 · 481 阅读 · 0 评论 -
elasticsearch与PHP版本要求
PHP 版本需求编辑Elasticsearch-PHP 6.0 需要 PHP 7.0.0 或者更高版本。另外，它还需要原生 JSON 扩展的版本为 1.3.7 或者更高版本。。来源:https://www.elastic.co/guide/cn/elasticsearch/php/current/_php_version_requirement.html...转载 2018-11-30 19:16:19 · 1582 阅读 · 0 评论 -
ElasticSearch-安装以及常见错误(自己测试过yum install -y log4j* )
ElasticSearch安装常见错误 [root@node2 ~]# yum install -y *jdk 安装java环境[root@node2 ~]# cd /usr/local/src/[root@node2 src]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6....转载 2018-11-23 13:44:33 · 1005 阅读 · 1 评论 -
一步一步搭建ELK日志处理集群(自己做过测试)
下面的linux版本用的是centos 7的，用centos 6.5有可能出现问题。ELK集群搭建手册一、 环境准备：三台Linux服务器，ip地址分别为：192.168.25.30192.168.25.31192.168.25.32 角色划分：3台机器全部安装jdk1.8，因为elasticsearch是java开发的3台全部安装elasticsear...转载 2018-11-25 18:14:19 · 729 阅读 · 2 评论 -
Exception in thread "main" expected 'document start', but found BlockMappingStart in 'reader'(测试了)
平台：centos-6.3-i386 jdk-7u51 storm 0.9.1 python 2.6.6 hadoop 1.2.1 启动storm的时候，遇到这个问题，百度之后，看到大家的解决方案是在 nimbus.host: "master"前加上空格，但是，我的已经加上空格。还是出错。 1 # License...转载 2018-11-23 11:31:54 · 486 阅读 · 0 评论 -
ELK平台的搭建
ELK是指Elasticsearch + Logstash + Kibaba三个组件的组合。本文讲解一个基于日志文件的ELK平台的搭建过程，有关ELK的原理以及更多其他信息，会在接下来的文章中继续研究。 在这个系统中，Elasticsearch主要充当一个全文检索和分析引擎，Logstash是一款分布式日志收集系统，Kibana可以为这个平台提供可视化的Web界面。一、环境准备转载 2017-08-22 17:13:46 · 269 阅读 · 0 评论 -
ELK+Kafka集群日志分析系统
因为是自己本地写好的word文档复制进来的。格式有些出入还望体谅。如有错误请回复。谢谢！一、 系统介绍 2二、 版本说明 3三、 服务部署 31) JDK部署 32) Elasticsearch集群部署及优化 33) Elasticsearch健康插件安装 134) Shield之elasticsearch安全插件 155)Zookeeper集群搭建 156)K转载 2017-08-22 17:15:29 · 906 阅读 · 0 评论 -
ELK+kafka日志系统搭建-实战
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开转载 2017-08-22 17:20:13 · 428 阅读 · 0 评论 -
【ELK Stack】ELK+KafKa开发集群环境搭建
部署视图运行环境CentOS 6.7 x64 （2核4G，硬盘100G）需要的安装包Runtimejdk1.8 : jdk-8u91-linux-x64.gz (http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html )Kafkazookeeper : z转载 2017-08-22 17:24:53 · 804 阅读 · 0 评论 -
ELK+Kafka 企业日志收集平台(一)
背景：最近线上上了ELK，但是只用了一台Redis在中间作为消息队列，以减轻前端es集群的压力，Redis的集群解决方案暂时没有接触过，并且Redis作为消息队列并不是它的强项；所以最近将Redis换成了专业的消息信息发布订阅系统Kafka, Kafka的更多介绍大家可以看这里：传送门 ,关于ELK的知识网上有很多的哦， 此篇博客主要是总结一下目前线上这个平台的实施步骤，ELK是怎么跟K转载 2017-08-22 17:30:04 · 881 阅读 · 0 评论 -
ELK5.3+Kafka集群配置
【一】资源准备# 3台4C*8G, 安装Zookeeper、Kafka、Logstash——Broker(input: filebeat; output: Kafka) 10.101.2.23 10.101.2.24 10.101.2.25# 2台4C*8G, 安装Logstash——Indexer(input: Kafaka; output: Elasticsear转载 2017-08-22 17:37:44 · 903 阅读 · 0 评论 -
ELK+Kafka 企业日志收集平台(二)
上篇博文主要总结了一下elk、基于kafka的zookeeper集群搭建，以及系统日志通过zookeeper集群达到我们集群的整个过程。下面我们接着下面这个未完成的几个主题4.Kibana部署;5.Nginx负载均衡Kibana请求;6.案例：nginx日志收集以及MySQL慢日志收集;7.Kibana报表基本使用;Kibana的部署;Kibana的作用，想必大家都知道了就转载 2017-08-22 17:39:39 · 1805 阅读 · 0 评论 -
ELK+Kafka 企业日志收集平台(二)这是原版
上篇博文主要总结了一下elk、基于kafka的zookeeper集群搭建，以及系统日志通过zookeeper集群达到我们集群的整个过程。下面我们接着下面这个未完成的几个主题4.Kibana部署;5.Nginx负载均衡Kibana请求;6.案例：nginx日志收集以及MySQL慢日志收集;7.Kibana报表基本使用; Kibana的部署;Ki转载 2017-09-06 10:48:58 · 440 阅读 · 0 评论 -
-bash: /tyrone/jdk/jdk1.8.0_91/bin/java: cannot execute binary file
问题描述：今天在linux环境下安装了一下JDK，安装成功后，打算输入java -version去测试一下，结果却出错了。错误信息：-bash: /tyrone/jdk/jdk1.8.0_91/bin/java: cannot execute binary file错误图示：解决方案：该错误原因是由于jdk的安装位数与系统安装位数不一致。查看linux安装位数方法。更换jd转载 2017-10-04 17:47:50 · 1676 阅读 · 0 评论 -
ELK环境搭建
线上地址：http://kibana.apuscn.com/编辑此区域什么是ELKELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。Elasticsearch 开源的搜索引擎，基于lucene，负责数转载 2017-10-25 17:14:52 · 269 阅读 · 0 评论 -
最好用的日志分析工具ELK
一、ELK介绍1.1 elasticsearch1.1.1 elasticsearch介绍ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实转载 2017-11-29 13:34:56 · 674 阅读 · 0 评论 -
ELK实时日志分析平台环境部署--完整记录
在日常运维工作中，对于系统和业务日志的处理尤为重要。今天，在这里分享一下自己部署的ELK（+Redis）-开源实时日志分析平台的记录过程（仅依据本人的实际操作为例说明，如有误述，敬请指出）~================概念介绍================日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经...转载 2018-06-25 12:36:31 · 732 阅读 · 0 评论 -
大数据主题分享第三期 | 基于ELK的亿级实时日志分析平台实践
猫友会希望建立更多高质量垂直细分社群，本次是"大数据学习交流付费群"的第三期分享。“大数据学习交流付费群”由猫友会联合，斗鱼数据平台总监吴瑞诚，卷皮BI技术总监柴楹，盛天网络大数据平台负责人王欢发起，希望带动武汉的技术分享氛围， 欢迎大家加入！（文末有入群方式）大家好，我是黄歆，目前担任斗鱼数据平台部基础架构组Leader，主要负责斗鱼数据平台部基础环境建设（Hadoop、ELK、容器集群等）及基...转载 2018-06-25 12:37:45 · 1013 阅读 · 0 评论 -
ELK日志分析平台搭建全过程(自己做了测试，测试不完整因为原文章都是图片)
一、使用背景 当生产环境有很多服务器、很多业务模块的日志需要每时每刻查看时二、环境系统：centos 6.5JDK：1.8Elasticsearch-5.0.0Logstash-5.0.0kibana-5.0.0三、安装1、安装JDK下载JDK：http://www.oracle.com/technetwork/java/javase/downlo...转载 2018-11-20 16:42:44 · 748 阅读 · 0 评论 -
详解centos7虚拟机安装elasticsearch5.0.x-安装篇(自己做测试了，es启动有错误可以在这上面找)
本篇文章主要介绍了centos7虚拟机安装elasticsearch5.0.x-安装篇，具有一定的参考价值，感兴趣的小伙伴们可以参考一下。centos7虚拟机安装elasticsearch5.0.x-安装篇请预先安装jdk详细步骤请参考：//www.jb51.net/softjc/193398.html创建新用户（非root用户）elasticsearch只能用非root启动，这里...转载 2018-11-20 11:29:10 · 338 阅读 · 0 评论 -
elasticsearch5.0启动出现的错误(自己做过测试，有错误可以在这上面找)
elasticsearch5.0启动失败，出现如下提示：1、Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000085330000, 2060255232, 0) failed; error='Cannot allocate memory' (errno=12)由于elasticsearch...转载 2018-11-20 11:31:02 · 257 阅读 · 0 评论 -
ELK：kibana使用的lucene查询语法
kibana在ELK阵营中用来查询展示数据elasticsearch构建在Lucene之上，过滤器语法和Lucene相同kibana4官方演示页面全文搜索在搜索栏输入login，会返回所有字段值中包含login的文档使用双引号包起来作为一个短语搜索"like Gecko"字段也可以按页面左侧显示的字段搜索限定字段全文搜索：fiel转载 2017-08-11 17:35:41 · 1135 阅读 · 0 评论