ElasticSearch/Logstash/Kibana
文章平均质量分 95
坦GA
积沙成塔
展开
-
Elasticsearch 默认分词器和中分分词器之间的比较及使用方法
原文地址:https://segmentfault.com/a/1190000011065897 介绍:ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful web 接口。Elasticsearch 是用 Java 开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够...转载 2018-09-10 09:41:16 · 2410 阅读 · 0 评论 -
ELK搭建简单的日志收集分析系统
原文地址:http://m.blog.csdn.net/lzw_2006/article/details/51280058缘起在微服务开发过程中,一般都会利用多台服务器做分布式部署,如何能够把分散在各个服务器中的日志归集起来做分析处理,是一个微服务服务需要考虑的一个因素。搭建一个日志系统搭建一个日志系统需要考虑一下一些因素:利用什么技术,是自己实现还利用现成的组件日转载 2017-08-10 16:49:22 · 1557 阅读 · 0 评论 -
ELK实时日志分析平台部署搭建详细实现过程
原文地址:http://www.linuxidc.com/Linux/2016-09/135137.htm1、ELK平台介绍在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段:日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从转载 2017-08-10 16:28:05 · 576 阅读 · 0 评论 -
Logstash input output filter插件总结
原文地址:http://blog.csdn.net/yesicatt/article/details/52104787官方文档logstash2.3 document:https://www.elastic.co/guide/en/logstash/current/index.html一:什么是Logstash1. logstash 是什么?Logs转载 2017-08-10 11:35:32 · 4436 阅读 · 0 评论 -
ELK日志分析系统搭建介绍
原文地址:http://467754239.blog.51cto.com/4878013/1700828/大纲:一、简介二、Logstash三、Redis四、Elasticsearch五、Kinaba一、简介1、核心组成ELK由Elasticsearch、Logstash和Kibana三部分组件组成转载 2017-08-02 11:31:09 · 567 阅读 · 0 评论 -
ELK实时日志分析平台环境部署
原文地址:http://www.cnblogs.com/kevingrace/p/5919021.html一、概念介绍日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。通常,日志被分散的储存不同的设备上。如果你管理数十转载 2017-08-09 09:26:57 · 791 阅读 · 0 评论 -
ElasticSearch中Java Scroll API介绍
原文地址:https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/java-search-scrolling.htmlJava API [5.5] » Search API » Using scrolls in Java« Search API MultiSearch API翻译 2017-07-17 13:23:24 · 2899 阅读 · 0 评论 -
Elasticsearch查询match、term和bool区别
原文地址:http://www.cnblogs.com/yjf512/p/4897294.htmlelasticsearch 查询(match和term)es中的查询请求有两种方式,一种是简易版的查询,另外一种是使用JSON完整的请求体,叫做结构化查询(DSL)。由于DSL查询更为直观也更为简易,所以大都使用这种方式。DSL查询是POST过去一个json,由于post的请求转载 2017-07-17 08:33:02 · 15306 阅读 · 2 评论 -
ElasticSearch中From / Size介绍
原文地址:https://www.elastic.co/guide/en/elasticsearch/reference/5.5/search-request-from-size.htmlElasticsearch Reference [5.5] » Search APIs » Request Body Search » From / Size« Query翻译 2017-07-14 13:20:07 · 5557 阅读 · 0 评论 -
ElasticSearch中search after处理深分页介绍
原文地址:https://www.elastic.co/guide/en/elasticsearch/reference/5.5/search-request-search-after.htmlSearch AftereditPagination of results can be done by using the from and size bu翻译 2017-07-14 10:58:11 · 2544 阅读 · 2 评论 -
ElasticSearch中Java Search API
原文地址:https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/java-search.htmlJava API [5.5] » Search API« Using Bulk Processor Using scrolls in Java »Sea翻译 2017-07-14 13:48:13 · 583 阅读 · 0 评论 -
ElasticSearch中Scroll介绍
原文地址:https://www.elastic.co/guide/en/elasticsearch/reference/5.5/search-request-scroll.htmlElasticsearch Reference [5.5] » Search APIs » Request Body Search » Scroll« Search Type翻译 2017-07-14 08:34:02 · 2485 阅读 · 0 评论 -
Elasticsearch 5.0下Java API使用指南
原文地址:http://blog.csdn.net/gaoqiao1988/article/details/53862813一.2.X到5.XElasticsearch 2.x使用Java api把elasticsearch安装包下的lib文件夹下的jar文件全部加入到工程类路径即可,换到5.x就不适用了.创建Clien的代码:Settings settings转载 2017-08-03 17:43:59 · 1683 阅读 · 0 评论 -
Elasticsearch5.0安装问题集锦
原文地址:http://www.cnblogs.com/sloveling/p/elasticsearch.htmlelasticsearch 5.0 安装过程中遇到了一些问题,通过查找资料几乎都解决掉了,这里简单记录一下 ,供以后查阅参考,也希望可以帮助遇到同样问题的你。问题一:警告提示[2016-11-06T16:27:21,712][WARN ][o.e.b.JN转载 2017-07-26 17:03:41 · 589 阅读 · 0 评论 -
ElasticSearch里面关于日期的存储方式
原文地址:http://blog.csdn.net/linkedin_38160998/article/details/68951075在ElasticSearch里面最常用的就是时间字段了,经常会在群里看到一些小伙伴提出有关时间的问题,为什么es查询的时间跟我实际看到的时间差8个小时呢。如果我们了解了ElasticSearch底层的时间存储方式就会比较容易的理解这个问题。 下面散仙先普及下时区的...转载 2018-03-07 10:29:53 · 982 阅读 · 0 评论 -
Elasticsearch线程池介绍
原文地址:http://blog.csdn.net/opensure/article/details/51491815每个Elasticsearch节点内部都维护着多个线程池,如index、search、get、bulk等,用户可以修改线程池的类型和大小,线程池默认大小跟CPU逻辑一致,本文基于最新的Elasticsearch2.3.x一、查看当前线程组状态转载 2018-01-31 20:48:46 · 1020 阅读 · 0 评论 -
Elasticsearch之Nested Object
原文地址:http://blog.csdn.net/allenalex/article/details/45044107 Given the fact that creating, deleting, and updating a single document in Elasticsearch is atomic, it makes sense to store close转载 2017-12-27 18:39:09 · 2378 阅读 · 0 评论 -
ElasticSearch Java分组查询
原文地址:http://kfcman.iteye.com/blog/2270125现有索引数据:index:schooltype:student---------------------------------------------------{"grade":"1", "class":"1", "name":"xiao 1"}{"gr转载 2017-11-28 18:23:12 · 2881 阅读 · 0 评论 -
Kibana5数据探索使用(Discover功能)
原文地址:http://www.cnblogs.com/bugsbunny/p/7248386.html认识Kibana Kibana 是一个为 Logstash 和 ElasticSearch 提供的日志分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。Kibana的使用场景主要集中在两方面:实时监控。通过histogram面板,配合不转载 2017-08-07 15:16:26 · 2516 阅读 · 0 评论 -
Kibana使用的lucene查询语法
原文地址:https://segmentfault.com/a/1190000002972420kibana在ELK阵营中用来查询展示数据elasticsearch构建在Lucene之上,过滤器语法和Lucene相同kibana4官方演示页面全文搜索在搜索栏输入login,会返回所有字段值中包含login的文档使用双引号包起来作为一个短语搜索转载 2017-08-07 14:58:16 · 906 阅读 · 0 评论 -
Kibana基本使用
原文地址:http://blog.csdn.net/ming_311/article/details/50619859 现在你已经安装了Kibana,现在你一步步通过本教程快速获取Kibana核心功能的实践经验。学习完本教程,你将: 1.加载案例数据到你安装的Elasticsearch中 2. 定义至少一个索引匹配模式转载 2017-08-07 14:10:11 · 2391 阅读 · 0 评论 -
Elasticsearch索引mapping的写入、查看与修改
原文地址:http://blog.csdn.net/napoay/article/details/52012249mapping的写入与查看首先创建一个索引:curl -XPUT "http://127.0.0.1:9200/productindex"{"acknowledged":true} 1212现在只创建了一个索引,并没有设置mapping,查看一下索引ma转载 2017-07-28 10:18:50 · 1019 阅读 · 0 评论 -
ELK实时日志分析平台部署搭建详细实现过程
原文地址:http://www.linuxidc.com/Linux/2016-09/135137.htm1、ELK平台介绍在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段:日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从转载 2017-07-27 15:18:22 · 7032 阅读 · 0 评论 -
日志分析利器elk与logback(log4j)实战
原文地址:http://blog.csdn.net/puhaiyang/article/details/69664891在近期的项目中,由于其项目中记录了许多日志,当系统由于某些BUG挂掉时,单纯地通过命令来查询错误日志很不方便排除,且搜索起来很非常不方便,很花费时间,对于一向不喜欢干重复单调很费时间的我来说,如果没有一种办法来解决日志问题是一件很痛苦的事情。那天偶然,公司的CTO说解转载 2017-07-27 15:07:13 · 1025 阅读 · 0 评论 -
Linux部署ELK日志分析系统与简单测试
原文地址:http://blog.csdn.net/gamer_gyt/article/details/52654263写在前边的话 ELK stack是指由Elasticsearch,Logstash,Kibana三个组件结合起来而构成的一个日志收集,分析,可视化的一个套件。 环境说明Deepin15.2Java 1.8.0Elasticse转载 2017-07-27 12:18:40 · 1003 阅读 · 0 评论 -
ElasticSearch Java API之滚动搜索(Scroll API)
原文地址:http://blog.csdn.net/sunnyyoona/article/details/52810397一般搜索请求都是返回一"页"数据,无论数据量多大都一起返回给用户,Scroll API可以允许我们检索大量数据(甚至全部数据)。Scroll API允许我们做一个初始阶段搜索并且持续批量从Elasticsearch里拉取结果直到没有结果剩下。这有点像传统数据库里的c转载 2017-07-11 15:14:09 · 1145 阅读 · 0 评论 -
Elasticsearch中扫描和滚动处理深分页问题
原文地址:http://blog.csdn.net/u014431852/article/details/528309381.from-size的限制 Elasticsearch可以用一种分页的形式来查询数据from-size https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request转载 2017-07-11 08:40:35 · 1185 阅读 · 0 评论 -
Elasticsearch的滚动(scroll)
原文地址:http://www.jianshu.com/p/14aa8b09c789Scrollsearch 请求返回一个单一的结果“页”,而 scroll API 可以被用来检索大量的结果(甚至所有的结果),就像在传统数据库中使用的游标 cursor。滚动并不是为了实时的用户响应,而是为了处理大量的数据,例如,为了使用不同的配置来重新索引一个 index转载 2017-04-24 15:11:55 · 3134 阅读 · 0 评论 -
ElasticSearch中默认映射、重索引、索引别名、零停机时间
原文地址:http://blog.csdn.net/dm_vincent/article/details/41643793默认映射(Default Mapping)一般情况下,索引中的所有类型都会有相似的字段和设置。因此将这些常用设置在_default映射中指定会更加方便,这样就不需要在每次创建新类型的时候都重复设置。_default映射的角色是新类型的模板。所有在_def转载 2017-04-03 12:13:35 · 1031 阅读 · 0 评论 -
ElasticSearch—分词器对String的作用
原文地址:http://www.cnblogs.com/xing901022/p/5235993.html关于String类型——分词与不分词在Elasticsearch中String是最基本的数据类型,如果不是数字或者标准格式的日期等这种很明显的类型,其他的一般都会优先默认存储成String。同样的数据类型,Elasticsearch也提供了多种存储与分词的模式,不同的模转载 2017-04-03 11:32:15 · 391 阅读 · 0 评论 -
Elasticsearch性能优化官方建议
原文地址:http://www.cnblogs.com/cutd/p/5800795.html如何提高ES的性能不要返回较大的结果集ES是设计成一个搜索引擎的,只擅长返回匹配查询较少文档,如果需要返回非常多的文档需要使用Scroll。避免稀疏因为ES是基于Lucene来索引和存储数据的,所以对稠密的数据更有效。Lucene能够有效的确定文档是通过一个转载 2017-04-12 11:07:54 · 4179 阅读 · 0 评论 -
Elasticsearch中setting,mapping,分片查询方式
原文地址:http://blog.csdn.net/ty4315/article/details/52477559?utm_source=itdadao&utm_medium=referralsetting通过setting可以更改es配置可以用来修改副本数和分片数。1:查看,通过curl或浏览器可以看到副本分片信息curl -XGET http://192.168.7转载 2017-03-09 08:51:47 · 5064 阅读 · 0 评论 -
ElasticSearch(ES)中的分片查询方式
原文地址:http://www.bubuko.com/infodetail-836737.htmlEs查询的时候默认是随机从一些分片中查询数据,可以通过配置让es从某些分片中查询数据1:_local指查询操作会优先在本地节点有的分片中查询,没有的话再在其它节点查询。 2:_primary:指查询只在主分片中查询3:_primary_f转载 2017-03-09 08:34:51 · 22016 阅读 · 1 评论 -
ElasticSearch的基本用法与集群搭建
原文地址:http://www.cnblogs.com/luxiaoxun/archive/2015/10/11/4869509.html一、简介ElasticSearch和Solr都是基于Lucene的搜索引擎,不过ElasticSearch天生支持分布式,而Solr是4.0版本后的SolrCloud才是分布式版本,Solr的分布式支持需要ZooKeeper的支持。这转载 2017-03-03 12:27:46 · 593 阅读 · 0 评论 -
ElasticSearch之数据索引
原文地址:http://www.cnblogs.com/xing901022/p/4999364.html对于提供全文检索的工具来说,索引时一个关键的过程——只有通过索引操作,才能对数据进行分析存储、创建倒排索引,从而让使用者查询到相关的信息。本篇就ES的数据索引操作相关的内容展开:更多内容参考:Elasticsearch资料汇总索引操作最简转载 2017-03-02 15:44:00 · 802 阅读 · 0 评论 -
ElasticSearch2.x安装bigdesk插件解决bigdesk报错
原文地址:http://blog.csdn.net/u012085379/article/details/529966341、下载bigdesk插件包 https://github.com/lukas-vlcek/bigdesk 下载master.zip后解压2、建立elasticsearch-2.x\plugins\bigdesk\_site文件夹3、将解压转载 2017-03-02 13:41:29 · 1343 阅读 · 0 评论 -
Elasticsearch的特性
Elasticsearch is a distributed RESTful search engine built for the cloud. Features include:Distributed and Highly Available Search Engine.Each index is fully sharded with a configurable number of s翻译 2016-11-26 10:29:24 · 1126 阅读 · 0 评论 -
Kibana介绍
原文地址:https://www.elastic.co/guide/en/kibana/current/introduction.htmlIntroductionKibana is an open source analytics and visualization platform designed to work with Elasticse翻译 2016-09-28 16:58:04 · 1105 阅读 · 0 评论 -
Elasticsearch文档mapping介绍
原文地址:http://www.cnblogs.com/buzzlight/p/elasticsearch_mapping_fields.htmlmappingMapping是指定义如何将document映射到搜索引擎的过程,比如一个字段是否可以查询以及如何分词等,一个索引可以存储含有不同"mapping types"的documents,ES允许每个mapping typ转载 2017-04-03 14:04:51 · 1287 阅读 · 0 评论 -
Elasticsearch性能调优
原文地址:http://www.cnblogs.com/huangpeng1990/p/4364341.html所有的修改都可以在elasticsearch.yml里面修改,也可以通过api来修改。推荐用api比较灵活1.不同分片之间的数据同步是一个很大的花费,默认是1s同步,如果我们不要求实时性,我们可以执行如下:$ curl -XPUT 'http://localhost:转载 2017-04-12 12:02:24 · 1869 阅读 · 0 评论