elasticsearch实践中遇到的问题总结

最新推荐文章于 2022-08-21 19:51:12 发布

dhtx_wzgl

最新推荐文章于 2022-08-21 19:51:12 发布

阅读量2.5k

点赞数

分类专栏：数据库系统文章标签： es elasticsearch

本文链接：https://blog.csdn.net/dhtx_wzgl/article/details/85229634

版权

数据库系统专栏收录该内容

22 篇文章 0 订阅

订阅专栏

转载请注明出处：https://blog.csdn.net/dhtx_wzgl/article/details/85229634

list查询返回结果最大只有10条。

原因：是Spring es的list查询底层实现方法实际是分页查询，而PageSize的默认值是10，所以每次查询的最大返回结果只有10条。

解决办法：自己设置PageSize的大小

模糊查询时，参数为含多个字符时失效

原因：string类型在es5以上版本中已经被弃用，取而代之的是text和keyword两种形式，其中text会被自动分词，默认是一个字一个词，所以在进行模糊查询时，参数的长度为1才有效；keyword建索引时不会分词，所以进行模糊查询时参数的长度可以是任意长度的。

解决办法：将被查询的字段设置为keyword类型。

查询时对多个属性进行排序

解决办法：

spring的es jar包实现了三种对多个属性进行排序的方法，如下所示：

1、PageRequest.of(number, size, Sort.by(Sort.Order.asc("a"), Sort.Order.desc("b"))

2、PageRequest.of(number, size, Sort.by(Sort.Direction.DESC, "a", "b"))

3、PageRequest.of(number, size, Sort.Direction.DESC, "a", "b", "c")

时间查出来后比写入时早了一天

原因：es集群服务器的时区不是北京时区。

解决办法：将es的类型entity中的时间字段上的@JsonFormat(pattern = "yyyy-MM-dd")注解去掉，让es直接存long型的毫秒数，这样在查出来结构后再进行一次参数转换即可得到正确的时间值。

ES 或查询

实现类似于mysql的 p1=aa and (p2=xxx or p2 =yyy)的查询，spring的es api的实现方法如下：

p2=xxx

BoolQueryBuilder builder1 = boolQuery();
addLteTimeQuery(builder1, "startTime", query.getStartTime().getTime());
addGteTimeQuery(builder1, "endTime", query.getStartTime().getTime());

p2=yyy
BoolQueryBuilder builder2 = boolQuery();
addLteTimeQuery(builder2, "startTime", query.getEndTime().getTime());
addGteTimeQuery(builder2, "endTime", query.getEndTime().getTime());

p2=xxx or p2 =yyy

BoolQueryBuilder builder3 = boolQuery();
builder3.should(builder1);
builder3.should(builder2);

p1=aa and (p2=xxx or p2 =yyy)

BoolQueryBuilder builder1 = boolQuery();

builder.must(builder3);

es查询窗口问题

es查询窗口默认大小是10000，单index的记录大小超过10000时，读取10000条以后的记录会报错。

修改方式：curl -XPUT "http://{hostName}:{port}/{index_name}/_settings" -d '{ "index" : { "max_result_window" : 500000 } }'

es插入数据遇到聚类报错

问题描述：在向es中批量写入数据时，出现写入到一半被回滚的情况，而且是主订单索引和子订单索引同时遇到了这种情况。

异常信息：

Caused by: java.lang.IllegalArgumentException: Fielddata is disabled on text fields by default. Set fielddata=true on [orderNumber] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead.
        at org.elasticsearch.index.mapper.TextFieldMapper$TextFieldType.fielddataBuilder(TextFieldMapper.java:336) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.index.fielddata.IndexFieldDataService.getForField(IndexFieldDataService.java:111) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.index.query.QueryShardContext.getForField(QueryShardContext.java:166) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.search.sort.FieldSortBuilder.build(FieldSortBuilder.java:277) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.search.sort.SortBuilder.buildSort(SortBuilder.java:156) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.search.SearchService.parseSource(SearchService.java:621) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.search.SearchService.createContext(SearchService.java:472) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.search.SearchService.createAndPutContext(SearchService.java:448) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.search.SearchService.executeDfsPhase(SearchService.java:221) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.action.search.SearchTransportService$5.messageReceived(SearchTransportService.java:328) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.action.search.SearchTransportService$5.messageReceived(SearchTransportService.java:325) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.transport.RequestHandlerRegistry.processMessageReceived(RequestHandlerRegistry.java:69) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.transport.TcpTransport$RequestHandler.doRun(TcpTransport.java:1555) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.common.util.concurrent.ThreadContext$ContextPreservingAbstractRunnable.doRun(ThreadContext.java:638) ~[elasticsearch-5.5.0.jar:5.5.0]
        at org.elasticsearch.common.util.concurrent.AbstractRunnable.run(AbstractRunnable.java:37) ~[elasticsearch-5.5.0.jar:5.5.0]
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) ~[na:1.8.0_91]
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) ~[na:1.8.0_91]
        ... 1 common frames omitted

分析：从异常来看，是说text类型的字段的Filedata默认是不可用的，而被写入的索引中orderNumber就是text类型的。出现该错误是因为写入时，按orderNumber进行了聚合操作，而在5.x版本之后，Elasticsearch对排序、聚合所依据的字段用单独的数据结构(fielddata)缓存到内存里了，但是在text字段上默认是禁用的，如果有需要单独开启，这样做的目的是为了节省内存空间。从异常信息提示来看，我们可以通过将orderNumber的filedata设置为true或者将其类型改为keyword来解决这个办法，因为keyword可以参与聚合或者排序操作。

主订单索引中的orderNumber设置的是text类型的，而在服务器上主订单索引的orderNumber竟然是一个复合类型的，相当于实际上有两个字段：一个是orderNumber，一个是orderNumber.keyword，而在聚合查询时，text是不能聚合的。