2018年06月_guaw007

原创 ElasticSearch - 解决ES的深分页问题 (游标 scroll)

ES为了避免深分页，不允许使用分页(from&size)查询10000条以后的数据，因此如果要查询第10000条以后的数据，要使用ES提供的 scroll(游标) 来查询假设取的页数较大时(深分页)，如请求第20页，Elasticsearch不得不取出所有分片上的第1页到第20页的所有文档，并做排序，最终再取出from后的size条结果作爲最终的返回值假设你有16个分片，则需要在coord...

2018-06-26 22:04:52 34178 4

原创 ElasticSearch - 嵌套对象 nested

由于在ES中，所有单个文档的增删改都是原子性的操作，因此将相关的实体数据都储存在同一个文档是很好的，且由于所有信息都在一个文档中，因此当我们查询时就没有必要像mysql一样去关联很多张表，只要搜一遍文档就可以查出所有需要的数据，查询效率非常高因此除了基本数据类型之外，ES也支持使用複杂的数据类型，像是数组、内部对象，而要使用内部对象的话，需要使用nested来定义索引，使文档内可以包含一个内部对象...

2018-06-22 20:58:56 19770

原创 ElasticSearch - term 和 match 的差别

term 和 match牵扯到了分词器、mapping、倒排索引等term 是直接把field拿去查询倒排索引中确切的termmatch 会先对field进行分词操作，然后再去倒排索引中查询具体实例假设有一个字段nickname，存放的类型是text，因此当新增一笔文档时，内容会被分词器分词，然后才储存进倒排索引假设插入了一笔文档，其中"nickname": "1 hello"，分词过后变为1、h...

2018-06-20 14:23:18 1136 1

原创 Dubbo - 远程debug

由于Dubbo的特性是远程调用，因此正常来说无法在本地进行debug因为你调用的方法在别台机器上跑，你只能知道给他的input和他返回的结果，但没办法知道这个接口内部的执行，所以也没办法在裡面打断点进行debug就算在本地有dubbo代码，在本地的dubbo代码打断点也没办法debug，因为实际上调用的是远程服务器上的dubbo代码，而不是本地的dubbo代码所以如果要对远程服务器上的dubbo代...

2018-06-12 20:18:48 2646 1

原创 Java - 注解的使用

Java基本内置注解@Override@Override用在方法上，表示这个方法重写了父方法，如toString()如果父方法没有这个方法，那麽就无法编译过如果实现接口，需要在每个实现方法都加上@Override，说明这是要实现那个接口的方法，而不是自己新创的方法@Deprecated@Deprecated 表示这个方法已经过期，不建议开发者使用暗示在将来某个不确定的版本，就有可能会被取消掉@Su...

2018-06-11 19:14:21 206

原创 ElasticSearch - 自定义分析器

ElasticSearch的分析器实际上是将三个功能封装在一起，这三个功能按照顺序执行，而这三个功能都是能自定义的字符过滤器 (char_filter) 首先，字符串按顺序通过每个字符过滤器，他们的任务是在分词前整理字符串一个字符过滤器可以用来去掉HTML，或者将&转化成and分词器 (tokenizer)其次，字符串被分词器分爲单个的词条，一个简单的分词器遇到空格和标点的时候，可能会将文...

2018-06-09 10:34:42 5764

原创 ElasticSearch - 基本类型与映射 (es5.x以上)

ElasticSearch支持的基本类型在 2.x -> 5.x 时进行了修改，主要是针对 string 字段的改变本文是基于ES 5.x以上所写Elasticsearch支持的基本类型字符串 : text, keywordtext：存储数据的时候，会自动分词，并生成索引keyword：存储数据的时候，不会分词，而是直接整个词拿去建索引整数 : byte, short, integer, l...

2018-06-07 14:34:11 2014

kucw的博客