elasticSearch
大数据存储工具 elastic search 的一些相关信息总结
请叫我大师兄_
请叫我大师兄
展开
-
Elasticsearch 刷新 配置之index.refresh_interval引发的问题
ES的索引数据是写入到磁盘上的。但这个过程是分阶段实现的,因为IO的操作是比较费时的。当一个文档进入ES的初期, 文档是被存储到内存里的,默认经过1s之后, 会被写入文件系统缓存,这样。当写测试的时候,手动刷新很有用,但是不要在生产环境下每次索引一个文档都去手动刷新。相反,你的应用需要意识到Elasticsearch 的近实时的性质,并接受它的不足。针对标题中的刷新时间间隔,es 提供了 refresh_interval 参数,它可以进行动态设置,refresh_interval 的默认值是 1s。原创 2022-10-21 11:00:06 · 2573 阅读 · 0 评论 -
ObjectIdentifier() -- data isn‘t an object ID (tag = 48)
java.io.IOException: ObjectIdentifier() -- data isn't an object ID (tag = 48)原创 2022-06-13 14:05:58 · 8579 阅读 · 0 评论 -
ElasticSearch 聚合查询语句 histogram 时序图例子
在es中按照时间字段,以2分钟为时间粒度,也就是把2分钟数据统计一下交易量,然后统计一整天的数据量,最后用这数据做个时序图。原创 2021-11-12 10:07:39 · 1454 阅读 · 0 评论 -
ES聚合查询报 can‘t load fielddata on because fielddata is unsupported on fields of type x,use doc value..
在es5.6版本的时候,使用聚合语句查询es的时候,会出现异常,关键信息如下:can't load fielddata on because fielddata is unsupported on fields of type xxx, use doc value instead...主要是因为,es 索引的mapping里面的doc_values属性的值设置的是false。这个属性是干啥的呢?快速了解一下。字段的 doc_values 属性有两个值, true、false。默认为 true ,即开原创 2021-03-10 16:44:00 · 4718 阅读 · 0 评论 -
Java Elastic search 常用查询
java Elastic 客户端基本使用引入jar compile 'org.elasticsearch:elasticsearch:5.5.0' compile 'org.elasticsearch.client:transport:5.5.0client基本使用得到clientSettings settings = Settings.builder().put("cluster.name", "lw-6-test").build();TransportClient原创 2020-09-15 16:55:43 · 6946 阅读 · 0 评论 -
xxxx index created, but the operation timed out while waiting for enough shards to be started.
shard未分配问题的解决es在head页面,看整个es集群的状态的时候,有个索引的状态是红色的,一直不见好转,shard未分配问题的解决看es日志有如下一句话xxxx 索引 index created, but the operation timed out while waiting for enough shards to be started.然后就查整个原因,使用 ...原创 2020-04-26 14:52:35 · 659 阅读 · 0 评论 -
error:Elasticsearch exception [type=illegal_argument_exception, reason=Limit of total fields [1000]
ES里面的三个概念:“索引 index”,“类型 type”,“字段 field”,清楚的话,就大概知道啥意思了。说的就是一个索引里面的fiedls(字段)的个数超过1000了,估计这个默认值是1000。这个时候,调大这个值,就能处理这个问题啦。上面的图就是 没有插件操作es的,就使用 curl 命令来处理这个问题吧。curl -XPUT http://192.168.1.1...原创 2019-12-04 11:54:06 · 12822 阅读 · 2 评论 -
Elasticsearch head 查询某个字段存在
查询某个字段只要存在,不为空就行。语句如下:{ "query": { "bool": { "must": { "exists": { "field": "_rpo_playback_body" } } } }}执行效果如下:要是说某个字段不存在must换成must_not...原创 2019-07-12 14:33:56 · 7372 阅读 · 0 评论 -
Elastic Search RestClient 报异常:listener timeout after waiting for [30000] ms
java.io.IOException: listener timeout after waiting for [30000] ms at org.elasticsearch.client.RestClient$SyncResponseListener.get(RestClient.java:660) at org.elasticsearch.client.RestClient.p...原创 2019-07-09 17:27:09 · 14275 阅读 · 0 评论 -
windows 64 curl 命令的使用
curl命令可以通过命令行的方式,执行Http请求。在 Elasticsearch 中有使用的场景,因此这里研究下如何在windows下执行curl命令。我提供我当时下载的,存放在某度云盘的压缩包。以防,官网不能用了呢,如下:链接:http://pan.baidu.com/s/1bo7CyKJ 密码:jl8d工具下载在官网处下载工具包:http://curl.haxx.se/dow原创 2016-12-09 22:38:12 · 7087 阅读 · 3 评论 -
ElasticSearch {"error":"MapperParsingException[failed to parse];JsonParseException[Unexpected charac
{"error":"MapperParsingException[failed to parse]; nested: JsonParseException[Unexpected character (''' (code 39)): expected a valid value (number, String, array, object, 'true', 'false' or 'null'原创 2016-12-09 22:42:30 · 6616 阅读 · 1 评论 -
elasticsearch 5.5以及插件 elasticsearch-head 的安装(on win7 64 and mac)同时支持 mac 系统
闲的没事,又来继续搞es啦,以前弄的时候,版本是1.7,或者2.3.现在发现,elasticsearch的版本都已经5.5啦,以前把elasticsearch的插件head插件,放在plugis目录下,就可以了,但是现在却不行了。elasticsearch下载下来之后,之后,直接解压,然后到bin目录下,直接启动就可以啦。这个项目是开源的,所以,直接是放在github这个网址上的。原创 2017-08-07 16:04:18 · 5296 阅读 · 6 评论 -
Elasticsearch 基本查询,term,match,
这里使用的是sense插件,利用Elasticsearch 内置查询条件做查询,而不是使用的命令行的rest api 使用的curl,这个curl用起来,太难受啦先上图,看看这使用的数据结构。大致就是这么个对象的数据,下面就是对这类数据的各种姿势的查询,此文我未做实测,只是简单的把视频截图,放这啦。我做个笔记。先是简单的get这个不是咱一般的准确查询,查出来的是模糊查询,不是title=el原创 2018-01-14 19:18:36 · 6586 阅读 · 1 评论