elk
关注
分享
扫一扫
hello-friend
青年程序员
展开
-
Elasticsearch Terms聚合性能提升10倍
{ "size": 0, "query": { "bool": { "filter": { "range": { "requestTime": { "from": 1536127200000, "to": 1536135000006,原创 2018-09-05 19:33:10 · 9332 阅读 · 0 评论 -
Elasticsearch之cat API
一、Cat通用参数 Verbose GET /_cat/XXX/?v 开启详细输出 Help GET /_cat/XXX/?help 输出可用的列 Headers GET /_cat/XXX/?h=column1,column2 ...转载 2018-08-31 16:21:10 · 1016 阅读 · 0 评论 -
Elasticsearch聚合限制内存使用
限制内存使用通常为了让聚合(或者任何需要访问字段值的请求)能够快点，访问fielddata一定会快点， 这就是为什么加载到内存的原因。但是加载太多的数据到内存会导致垃圾回收(gc)缓慢， 因为JVM试着发现堆里面的额外空间，甚至导致OutOfMemory异常。最让你吃惊的是，你会发现Elaticsearch不是只把符合你的查询的值加载到fielddata. 而是把index里的所doc...转载 2018-08-31 16:11:54 · 2527 阅读 · 0 评论 -
Luke打开Elasticsearch的索引
原文地址：https://blog.csdn.net/fly910905/article/details/81190382Luke是由Andrzej Bialecki创建的Lucene Indexing Toolbox。该工具解决了Lucene / Solr工程师需要深入了解索引中实际存储的内容并深入了解索引统计信息的工具。Luke特点Luke是用于内省Lucene / Solr / ...转载 2018-08-03 17:56:18 · 910 阅读 · 1 评论 -
Elasticsearch之 _all
官网：https://www.elastic.co/guide/en/elasticsearch/reference/2.4/mapping-all-field.html#mapping-all-field最近在使用ELasitcsearch的时候，需要用到关键字搜索，因为是全字段搜索，就需要使用_all字段的query_string进行搜索。但是在使用的时候，遇到问题了。我们的业务并...转载 2018-07-26 10:10:27 · 2143 阅读 · 0 评论 -
ElasticSearch之插件Delete-by-Query
我们通常情况下，删除es中的文档，使用下面的语句curl -XDELETE 'localhost:9200/customer/external/2?pretty'需要指定具体的文档id，一次只能删除一个文档。当我们想批量删除文档的时候，该如何操作呢？es提供了插件，可以将查询的结果数据删除：安装插件：./plugin install delete-by-query或者./plugin instal...原创 2018-07-16 11:27:02 · 2783 阅读 · 0 评论 -
Elasticsearch根据自定义符号分词
1、新建索引{ "settings": { "index": { "number_of_shards": "5", "number_of_replicas": "1", "mappings": { "myType": { "properties": {原创 2018-06-20 21:27:38 · 6164 阅读 · 0 评论 -
ElasticSearch之termvector介绍
termvector会获取document中的某个field内的各个term的统计信息。一 term的基本信息 term_freq：term在该字段中的频率 position：词在该字段中的位置 start_offset：从什么偏移量开始的 end_offset: 到什么偏移量结束二 term的统计信息如果启用了term的统计信息，即term_statistics设为true，那么有哪些统计信息呢...转载 2018-06-16 15:12:36 · 8291 阅读 · 0 评论 -
全文检索的基本原理
一、总论根据http://lucene.apache.org/java/docs/index.html 定义：Lucene 是一个高效的，基于Java 的全文检索库。所以在了解Lucene之前要费一番工夫了解一下全文检索。那么什么叫做全文检索呢？这要从我们生活中的数据说起。我们生活中的数据总体分为两种：结构化数据 和非结构化数据 。结构化数据： 指具有固定格式或有限长度的数据，如数据库，元数据等。...转载 2018-06-15 14:55:20 · 3532 阅读 · 0 评论 -
ElasticSearch Failed to derive xcontent
es批量操作_bulkcurl -XPOST 'localhost:9200/_bulk?pretty' --data-binary ../@data.json当执行上面的语句，报错如下：{ "error" : { "root_cause" : [ { "type" : "parse_exception", "reason" : "Failed to deriv.原创 2018-05-24 16:00:50 · 5672 阅读 · 3 评论 -
elasticsearch之_bulk
代价较小的批量操作与 mget 可以使我们一次取回多个文档同样的方式，bulk API 允许在单个步骤中进行多次 create 、 index、 update 或 delete 请求。如果你需要索引一个数据流比如日志事件，它可以排队和索引数百或数千批次。bulk 与其他的请求体格式稍有不同，如下所示：{ action: { metadata }}\n{ request body }...转载 2018-03-08 11:20:37 · 2723 阅读 · 0 评论 -
dynamic 与 index.mapper.dynamic
dynamic是用来设置某个type如何处理新增的字段index.mapper.dynamic 是用来设置是否可以动态生成type一、自动映射：ES通过查看定义某文档的json格式就能猜测到文档结构，我们称之为自动映射，在开发过程中需要注意这些特性。字段自动检测在某个字段第一次出现时，如果之前没有定义过映射，ES会自动检测它可能满足的类型，然后创建对应的映射。JSON数据ES中的数据类型null不...转载 2018-03-07 15:21:34 · 2164 阅读 · 0 评论 -
kibana.bat 一闪而过
在windows环境下使用kibana，双击kibana.bat 一闪而过。 解决方法： 在bin文件夹上按住shift 键然后鼠标右键，选择“在此处打开命令窗口”，输入kibana.bat。此时就能看到出错的行数。打开config/kibana.yml文件，找到出错行。 开头一定要空一格！原创 2017-11-22 20:25:12 · 6384 阅读 · 1 评论 -
com/typesafe/config/ConfigException : Unsupported major.minor version
启动cerebro的时候报错： Exception in thread “main” java.lang.UnsupportedClassVersionError: com/typesafe/config/ConfigException : Unsupported major.minor version 52.0解决方法： 安装jdk8原创 2017-11-20 11:05:51 · 1335 阅读 · 0 评论 -
Kibana非空查询
kibana中的查询语句使用的lucene语法，有的时候我们想查询值为空的，或者智非空的。网上提供的这种方法，我没法测试成功 -company:[* TO *]我使用了如下的方式成功了： -company:""原创 2017-11-17 16:28:06 · 12516 阅读 · 2 评论 -
Using scrolls in java
import static org.elasticsearch.index.query.QueryBuilders.*;QueryBuilder qb = termQuery("multi", "test");SearchResponse scrollResp = client.prepareSearch(test) .addSort(SortParseElement.DOC_FIE原创 2017-11-12 16:12:47 · 267 阅读 · 1 评论 -
Elasticsearch更新某条信息中的字段
样例：PUT /megacorp/employee/1{ "first_name" : "John", "last_name" : "Smith", "age" : 25, "about" : "I love to go rock climbing", "interests": [ "sports", "music" ]}更新l原创 2017-11-03 16:24:38 · 27880 阅读 · 1 评论 -
ElasticSearch中Cat接口详解
_cat命令_cat用于查看集群当前状态,涉及到shard/node/cluster几个层次基本参数verbose: 显示列名, 请求参数为v 示例: curl localhost:9200/_cat/master?vhelp: 显示当前命令的各列含义, 请求参数为help. 某些命令部分列默认不显示,可通过help该命令可显示的所有列 示例: curl localhost:9200/_ca原创 2017-08-01 14:43:54 · 6189 阅读 · 1 评论 -
ElasticSearch的head插件中如何使用cat接口
生产环境无法直接登录服务器执行curl，只能通过es的head插件，操作cat接口查看别名接口(_cat/aliases): 查看索引别名查看分配资源接口(_cat/allocation)查看文档个数接口(_cat/count)查看字段分配情况接口(_cat/fielddata)查看健康状态接口(_cat/health)查看索引信息接口(_cat/indices)查看master信息接口原创 2017-07-31 19:54:18 · 1247 阅读 · 0 评论 -
logstash kafka多台机器取数据，只有一个实例消费
logstash版本：2.3.4描述：首先kafka的partition数量为6，多台logstash服务机器的topic相同并且groupId也相同。当分别启动机器时，只有一台机器在消费kafka数据，并且总是最后启动的那台在消费。修改了zk时间等各种kafka配置均没有效果，最后不得不看ruby源码了。感觉kakfa的代码写的还是有点问题的。首先介绍logstash的inp转载 2017-07-27 21:45:14 · 5267 阅读 · 0 评论 -
Elasticsearch内存分配设置详解
Elasticsearch默认安装后设置的内存是1GB，对于任何一个现实业务来说，这个设置都太小了。如果你正在使用这个默认堆内存配置，你的集群配置可能会很快发生问题。 这里有两种方式修改Elasticsearch的堆内存（下面就说内存好了），最简单的一个方法就是指定ES_HEAP_SIZE环境变量。服务进程在启动时候会读取这个变量，并相应的设置堆的大小。设置命令如下：export ES转载 2017-07-27 20:08:32 · 7328 阅读 · 2 评论 -
logstash2.x修改jvm参数
如果是windows环境，修改/bin/setup.bat，如果是linux环境，修改/bin/logstash.lib.sh，例如linux环境修改堆大小:原创 2017-07-05 15:34:16 · 6264 阅读 · 1 评论 -
elasticsearch 索引 red 状态恢复 green
elasticsearch 索引 red 状态恢复 green转载 2017-06-27 14:32:49 · 5376 阅读 · 0 评论 -
Elasticsearch-head带参数使用
错误示范：正确示范： 总结：参数要放在下一行，而且最后不能有”/”原创 2017-06-27 14:13:41 · 1217 阅读 · 2 评论 -
elasticsearch集群发现机制:Zen Discovery
Zen发现机制 zen发现机制是elasticsearch默认的内建模块。它提供了多播和单播两种发现方式，能够很容易的扩展至云环境。转载 2017-06-14 11:26:21 · 12153 阅读 · 3 评论 -
Elasticsearch 5.0新版本的特性与改进
大家好，非常高兴能在这里给大家分享，首先简单自我介绍一下，我叫曾勇，是Elastic的工程师。Elastic将在今年秋季的时候发布一个Elasticsearch V5.0的大版本，这次的微信分享将给大家介绍一下5.0版里面的一些新的特性和改进。 5.0？ 天啦噜，你是不是觉得版本跳的太快了。 好吧，先来说说背后的原因吧。相信大家都听说ELK吧，是Elasticsearch、转载 2017-06-09 10:11:28 · 2363 阅读 · 0 评论 -
kibana5.4.1安装
Kibana是一个为 ElasticSearch 提供的数据分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。首先到官网下载最新版本的Kiabna压缩包。可以使用如下命令，注意将最新的可用的下载链接填入：wget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.1-linux-x86_64.tar.gzta原创 2017-06-08 17:23:24 · 1240 阅读 · 1 评论 -
安装elasticsearch-5.4.1的过程
安装准备：安装Elasticsearch唯一的要求是安装官方新版的Java，包括对应的Jdk。需要jdk1.8以上。原创 2017-06-08 17:12:55 · 982 阅读 · 0 评论 -
kibana之index字段类型更新
kibana字段类型更新原创 2017-06-06 19:47:05 · 14350 阅读 · 0 评论 -
Elasticsearch小记之sort
今天在优化es查询语句时，发现了一个奇怪的问题，当我只是使用bool查询的时候，返回的结果中”max_score”:是有值的，当我在bool查询后面加上了sort： "sort" : [ { "requestTime" : { "order" : "desc" } } ]返回的结果中”max_score”的值为null，然后查询官方文档找到了答案： _score原创 2017-06-02 10:07:58 · 4970 阅读 · 0 评论 -
使用SQL查询Elasticsearch
插件名：Elasticsearch-SQL原创 2017-05-16 19:31:24 · 4284 阅读 · 2 评论 -
什么时候使用分析器
当你查询一个 全文 域时， 会对查询字符串应用相同的分析器，以产生正确的搜索词条列表。当你查询一个 精确值 域时，不会分析查询字符串， 而是搜索你指定的精确值。转载 2017-05-16 14:23:23 · 336 阅读 · 1 评论 -
索引文档
自动生成id和自定义id转载 2017-05-15 14:45:19 · 390 阅读 · 0 评论 -
单台服务器部署多个节点
单台服务器部署多个节点原创 2017-05-15 09:55:20 · 18723 阅读 · 0 评论 -
模版示例
_default_原创 2017-04-27 17:30:19 · 296 阅读 · 0 评论 -
百分位计算
Elasticsearch 提供的一个近似度量是 percentiles 百分位数度量。转载 2017-04-27 11:47:16 · 6168 阅读 · 0 评论 -
基于“深度”度量排序
在一定条件下，我们可能对 更深 的度量进行排序，比如孙子桶或从孙桶。原创 2017-04-26 17:29:30 · 520 阅读 · 0 评论 -
返回空 Buckets
date_histogram （和 histogram 一样）默认只会返回文档数目非零的 buckets。翻译 2017-04-24 17:10:39 · 926 阅读 · 0 评论 -
启动kibana后关闭shell窗口后kibana自动关闭
启动kibana后关闭shell窗口后kibana自动关闭的解决办法转载 2017-04-12 15:17:16 · 10233 阅读 · 4 评论 -
Elasticsearch之head插件Browser为空
Elasticsearch之head插件问题原创 2017-04-10 15:53:27 · 1672 阅读 · 0 评论