ElasticSearch
es
少年阿峣_从零单排
马刺队更衣室里一句话:当一切看起来无可挽回之时,我跑去看石匠重复捶击他面前的岩石一百次,而那块石头连一个裂缝都没有露出来。接下来的第一百零一次捶击之时,此石一分为二。不是因为这一次捶击,而是因为你的始终如一。
展开
-
ElasticSearch6.X Join(父子查询)深入详解
0、ES6.X 一对多、多对多的数据该如何存储和实现呢?引出问题:“某头条新闻APP”新闻内容和新闻评论是1对多的关系?在ES6.X该如何存储、如何进行高效检索、聚合操作呢?相信阅读本文,你就能得到答案!1、ES6.X 新类型Join 产生背景 Mysql中多表关联,我们可以通过left join 或者Join等实现; ES5.X版本,借助父子文档实现多表关联,类似数据库中Join的功能;实现的核心是借助于ES5.X支持1个索引(index)下多个类型(type)。转载 2020-07-30 16:38:43 · 1252 阅读 · 0 评论 -
ElasticSearch 7.X 重要功能总结
7.0.0重要功能自适应分片访问选择在6.1中已加入这个功能,但是默认是关闭的,在7.0中开始默认开启。若有两个节点,且其中一个节点上有一个索引的主分片,另一个节点上有同一个索引的副本分片,在6.X中关闭此特性时,不管每个节点状态如何,是否在做耗时操作,如GC等,每次请求过来时,都会通过轮询的方式访问两个分片其中之一;而在7.X开启后,ES会统计每次请求耗时,根据每个节点访问响应的耗时长度,对每个节点的访问频次进行自动调整。"search idle"状态下的分片不进行自动refreshEla转载 2020-07-01 14:54:33 · 2589 阅读 · 0 评论 -
ElasticSearch调优指南
作者:Ghost Stories原文:http://wangnan.tech/post/elasticsearch-how-to/ES 发布时带有的默认值,可为 ES 的开箱即用带来很好的体验。全文搜索、高亮、聚合、索引文档 等功能无需用户修改即可使用,当你更清楚的知道你想如何使用 ES 后,你可以作很多的优化以提高你的用例的性能,下面的内容告诉你 你应该/不应该 修改哪些配置。第一部...转载 2019-09-18 15:46:17 · 224 阅读 · 0 评论 -
ElasticSearch底层原理总结
参考:https://blog.csdn.net/njpjsoftdev/article/details/54015485一、Lucene1、索引构成:前缀和后缀 + 倒排表 ,形成有向无环图2、索引结构:FST(最小有向无环图)eg:北京 北京天安门 ——》 北京2天安门 (相同前缀,只记offset偏移量,减少空间)3、倒排索引解释:文章包含词,是正排。词到文章是倒...原创 2020-06-29 14:05:59 · 509 阅读 · 0 评论 -
ElasticSearch批量删除数据
2.x版本一、此版本批量删除数据需要安装插件,官方的删除插件在每一个节点上安装插件:sudo bin/plugin install delete-by-query重启elasticsearch二、DELETE /twitter/tweet/_query?q=user:kimchy或者DELETE /twitter/tweet/_query{ "query": { ...原创 2019-02-15 17:45:35 · 9686 阅读 · 0 评论 -
ElasticSearch集成IK分词器
elasticsearch集成ik分词器一.下载编译从地址https://github.com/medcl/elasticsearch-analysis-ik下载elasticsearch中文分词器这里默认的是master的 但是master的项目需要用gradle编译,这里选择1.8.0版本。而且从下面的介绍可以知道1.8.0正好对应elasticsearch的2.2.0版本...原创 2019-02-15 17:43:46 · 334 阅读 · 0 评论 -
Elasticsearch索引文档【word,pdf等】
安装es5.x版本需要把jvm设置调大,否则起不起来sudo sysctl -w vm.max_map_count=2621441.elasticsearch索引文件需要一个插件 es版本 插件名 参考文档 es5.0之前 mapper-attachments h...原创 2019-02-15 16:42:30 · 8162 阅读 · 0 评论 -
elasticsearch-dump数据迁移工具(docker版)
本文主要介绍最简单版——Docker来安装和使用elasticsearch-dump1、Docker拉取镜像docker pull taskrabbit/elasticsearch-dump2、运用docker run --rm -ti taskrabbit/elasticsearch-dump 您需要将文件存储目录挂载-v <your dumps dir>:...原创 2019-01-08 17:53:07 · 3272 阅读 · 0 评论 -
ElasticSearch-head添加mapping
elasticsearch-head是es的一个可视化插件,很方便,在上面可以执行很多操作。 下面就来说明添加mapping的——简单三部曲。1、打开es-head,选择复合查询。 2、将Mapping增加到哪个索引上,选择GET,去掉_search 3、把mapping加进去,验证JSON ,无误后,点击 图左下方的提交请求按钮 返回true即成功,然后去...原创 2018-11-06 17:52:08 · 4333 阅读 · 0 评论 -
ElasticSearch java实现星期小时热力图【Date histogram】
版权声明:https://blog.csdn.net/qq_18769269/article/details/82746259需求: 选定一段时间,统计该段时间内,星期一到星期天中每个小时中文章发布数量,做周-时热点统计,效果如下: Date histogram时间聚合介绍: 按时间聚合,想到了ES查询中的Date histogr...原创 2018-09-17 18:11:07 · 3725 阅读 · 0 评论 -
ElasticSearch—Java批量导入导出
网上找了很多,我的es是2.3.5版本,网上的客户端最少都是5.x版本,所以没有能用的。自己整合了一下 2.3.5版本的。 pom文件:<dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch&l...原创 2018-07-28 11:47:33 · 5539 阅读 · 2 评论 -
Kibana介绍、安装和使用
ES之Kibana下面就Kibana对ES的查询监控作介绍,就是常提到的大数据日志处理组件ELK里的K。 什么是Kibana?现引用园友的一段对此的介绍,个人觉得比较全。 Kibana是一个针对Elasticsearch的开源分析及可视化平台,用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana,可以通过各种图表进行高级数据分析及展示。 Kibana让海量数据更容...转载 2018-06-28 15:20:12 · 176481 阅读 · 12 评论 -
支持SQL Elasticsearch6.3 新特性概览
1、Elasticsearch6.3 特性概览1.1、支持Sql像操作Mysql一样使用Elasticsearch,缩减DSL的学习成本,更多人爱上ES的特性。这样我们就可以减少 DSL 的学习成本,这个 SQL 模块是属于 X-Pack 的一部分。POST /_xpack/sql?format=txt{ "query": "SELECT * FROM library WHERE rel...转载 2018-06-22 18:19:54 · 3179 阅读 · 0 评论 -
Elasticsearch之Date Histogram聚合
Elasticsearch聚合 之 Date Histogram聚合Elasticsearch的聚合主要分成两大类:metric和bucket。本篇还是来介绍Bucket聚合中的常用聚合——date histogram.参考:官方文档用法Date histogram的用法与histogram差不多,只不过区间上支持了日期的表达式。{"aggs":{ "articles_over_time...原创 2018-06-22 14:11:53 · 3307 阅读 · 0 评论 -
ElasticSearch 索引查询—详细介绍
我们通常用catAPI:https://www.elastic.co/guide/en/elasticsearch/reference/current/cat.html 检测集群是否健康。 确保9200端口号可用: curl 'localhost:9200/_cat/health?v' 绿色表示一切正常, 黄色表示所有的数据可用但是部分副本还没有分配,红色表示部分数据因为某些原因不可用. ...转载 2018-06-21 19:22:25 · 12936 阅读 · 0 评论