elasticsearch
文章平均质量分 58
牵梦u
开发大型javaEE工程。
展开
-
elasticsearch-java-restful-api常见问题
1、java-restful-api查询所有索引名(_cat/index?v)ClusterHealthRequest request = new ClusterHealthRequest();ClusterHealthResponse response = myRestClient.cluster().health(request, RequestOptions.DEFAULT);Set<String> indices = response.getIndices().keySet();原创 2020-07-03 10:09:45 · 231 阅读 · 0 评论 -
(九)elasticsearch之分组去重(collapse)
一、背景介绍问题一:如何对elasticsearch的检索结果进行去重统计计数。类似mysql 的 select count(*) from a group by b。问题二:如何对elasticsearch的检索结果去重后显示。类似mysql 的select distint(“name”) from a group by b。二、分析问题一: 统计计数需要借助elasticsearc...原创 2019-10-21 18:22:17 · 10031 阅读 · 1 评论 -
(三)elasticsearch之分词介绍
一、介绍1、分词是指将文本转换成一系列单词(term or token)的过程,也可以叫做文本分析,在es里面称为 analysis。2、分词会在如下2个时间使用:创建或更新文档时,会对相应的文档进行分词处理查询时,会对查询语句进行分词3、索引时分词(创建或更新文档)是通过配置 mapping 中每个字段的 analyzer 属性实现的。不指定分词时,默认使用 standard。如:...原创 2019-10-15 11:44:17 · 1222 阅读 · 0 评论 -
(二)elasticsearch之入门介绍
一、Document1、相当于JSON Object,由字段(Field)组成,常见数据类型如下:字符串:text、keyword数值型:long、integer、short、byte、double、float、half_float、scaled_float布尔型:boolean日期型:date二进制:binary范围类型:integer_range、float_range、lon...原创 2019-10-14 20:16:37 · 185 阅读 · 0 评论 -
(0)学习 elk 参考的博文,感谢各位大佬的分享
如题,再次感谢大佬们的分享。分布式集群| Elasticsearch权威指南(中文版)elasticsearch-guideelastic search解决关系型数据库问题配置高性能Elasticsearch集群logstash-input-jdbc同步mysql数据到elasticsearchlogstash同步父子文档elasticsearch-jdbc实现MySQL同步到Ela...原创 2019-09-14 09:19:36 · 293 阅读 · 0 评论 -
(一)logstash和beats的简单介绍
一、logstash的一些名词介绍Pipelineinput-filter-output 的 3个阶段的处理流程。队列管理。插件生命周期管理。Logstash Event他是logstash内部流转的数据的表现形式。原始数据在input 阶段被转换成 Event,在 output阶段 event 被转换成目标格式数据。在配置文件中可以对 Event 中的属性进行增删改查。...原创 2019-09-09 21:14:26 · 2433 阅读 · 0 评论 -
(八)elasticsearch之聚合分析的简单介绍
一、聚合分析的简单介绍聚合分析,英文为 Aggregation,是es 除搜索功能外提供的针对es数据做统计分析的功能。es聚合分析功能丰富,提供 Bucket、Metric、Pipeline等多种分析方式,可以满足大部分的分析需求;实时性高,所有的计算结果是即时返回的,而Hadoop 等大数据系统一般都是 T+1 级别的。语法如下:GET testindex/_search{ ...原创 2019-09-03 15:23:03 · 505 阅读 · 0 评论 -
(七)elasticsearch之排序和分页问题
1、elasticsearch 对 text 类型进行排序排序的过程实质是对字段原始内容排序的过程,这个过程中倒排索引无法发挥作用,需要用到正排索引,也就是通过文档id 和字段可以快速得到字段原始内容。es对此提供了2中实现方式:fielddata默认禁用;doc values 默认启用,除了text 类型。fielddata 和 doc values对比如下:对比fie...原创 2019-08-27 20:56:04 · 2645 阅读 · 0 评论 -
(六)elasticsearch之常见问题和原理(实在不知道起啥名了)
1、elasticsearch之脑裂问题(一)背景分析:脑裂问题(split-brain),是分布式系统中的经典网络问题。比如集群有3个节点(node1,node2,node3)。如果此时由于网络问题,node1无法和node2,node3访问,则node2和node3会重新选举master,然后更新cluster state;而node1自己组成集群后,也会更新cluster stat...原创 2019-08-27 19:35:16 · 213 阅读 · 0 评论 -
(四)elasticsearch之mapping详解和数据类型
elasticsearch之mapping详解和数据类型一、mapping介绍类似数据库中的表结构定义,主要作用如下:定义 index 下的字段名(Field name)定义字段的类型,比如 数值型,字符串型,布尔型等定义倒排索引的相关配置,比如是的索引、是否记录position 等二、常用mapping 相关api1、获取索引 mapping请求:GET XXX-INDE...原创 2019-08-22 13:06:26 · 1058 阅读 · 0 评论 -
(五)elasticsearch之查询(Query DSL)
elasticsearch之查询(Query DSL)一、字段类查询字段类查询主要包含以下2类:全文匹配:针对text 类型的字段进行全文检索,会对查询语句先进行分词处理,如match、match_phrase等query类型单词匹配:不会对查询语句进行分词处理,直接去匹配字段的倒排索引,如term、terms、range等query 类型补:match、match_phase、te...原创 2019-08-23 18:39:29 · 760 阅读 · 0 评论 -
logstash 离线安装插件和打包
【Logstash离线安装插件】https://blog.csdn.net/abcd1101/article/details/82970810【logstash快速安装插件并打离线包(不改动永远别想装上)】https://blog.csdn.net/evandeng2009/article/details/78036054...转载 2019-01-20 16:14:56 · 783 阅读 · 0 评论 -
elasticsearch 增删改查 ---长期更新
1、单字段 多个搜索值 的 模糊查询使用 bool 的 should 去查询。{ "query": { "bool": { "must": [ { "bool": { "should": [ { "wildcard": {原创 2018-11-04 17:18:09 · 166 阅读 · 0 评论 -
elasticsearch 6.x 关于 join 类型的 一些问题记录(长期更新)
背景:随着es 版本的不断向前演进,在es 6.x 版本中,已经开始有意识地,主动的去弱化 type 这个概念。原因简单来说就是,es 底层存储时,相同 type的数据会存储在一起,但类比到数据库中的表,我们知道,不同数据库的同样名称的表的数据是不存储在一起的;所以type 对于 es 删除来说有害无利。为解决此问题,es 决定在 6.x 版本中 弱化之,在 7.x 版本中 会彻底删除 type...原创 2018-10-13 10:53:55 · 2920 阅读 · 0 评论