elasticsearch
天高任鸟飞-海阔凭鱼跃
天高任鸟飞 海阔凭鱼跃
展开
-
ES中DSL的相关操作
一、ES中批量修改POST order_sale_detail/_update_by_query{ "script":{ "source":"ctx._source['create_time']='2020-04-22'" }, "query":{ "term":{ "create_time":"2020-03-16" } }} order_sale_detail => indexName _update_by_query =&转载 2021-02-08 10:03:27 · 427 阅读 · 0 评论 -
Elasticsearch怎么修改索引字段类型?
由于ElasticSearch没有像mysql一样可以直接字段数据类型的方法,因此需要通过创建中间索引:data_index_1,备份数据到中间索引:data_index_1,然后删除原索引: data_index,重新创建正确数据类型索引:data_index,再把中间索引:data_index_1的数据备份到新创建索引:data_index。语句通过kibana的 dev_tools/console 执行。操作步骤如下:1. 创建一个中间索引2. 向中间索引备份源索引的数...转载 2021-02-04 20:28:01 · 1055 阅读 · 2 评论 -
滴滴ElasticSearch千万级TPS写入性能翻倍技术剖析
桔妹导读:滴滴ElasticSearch平台承接了公司内部所有使用ElasticSearch的业务,包括核心搜索、RDS从库、日志检索、安全数据分析、指标数据分析等等。平台规模达到了3000+节点,5PB 的数据存储,超过万亿条数据。平台写入的峰值写入TPS达到了2000w/s,每天近 10 亿次检索查询。为了承接这么大的体量和丰富的使用场景,滴滴ElasticSearch需要解决稳定性、易用性、性能、成本等诸多问题。我们在4年多的时间里,做了大量优化,积攒了非常丰富的经验。通过建设滴滴搜索平台,打造滴滴E转载 2020-11-30 04:18:17 · 709 阅读 · 0 评论 -
elasticsearch判断索引是否存在
一、判断索引是否存在指定索引名,判断指定的索引是否存在集群中 /** * 判断指定的索引名是否存在 * @param indexName 索引名 * @return 存在:true; 不存在:false; */ public boolean isExistsIndex(String indexName){ IndicesExistsResponse response = getClient().a.原创 2020-07-18 11:00:31 · 6783 阅读 · 3 评论 -
Elasticsearch 2.0以上版本根据条件批量删除Java如何实现
https://blog.csdn.net/u014039577/article/details/51802078Elasticsearch在2.0以前版本,删除操作有两种方式,一种是通过id来进行删除,但是这种方式一般不常用,因为id不容易得到;另一种方式是通过先查询操作,然后删除,也就是通过client.prepareDeleteByQuery这种方式来根据条件批量删除数据:Delet...转载 2018-10-25 09:01:33 · 1259 阅读 · 0 评论 -
ElasticSearch使用ElasticsearchTemplate整合spring
https://www.cnblogs.com/ouyanxia/p/8288749.html 1、首先引进maven依赖<dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-d...转载 2018-10-10 14:59:07 · 8775 阅读 · 0 评论 -
elasticesearch 5.5.1 search template java api 实例
pom实例:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="原创 2018-10-10 11:21:29 · 652 阅读 · 0 评论 -
elasticsearch 2.4.4 search template javaapi
https://www.elastic.co/guide/en/elasticsearch/client/java-api/1.6/java-search-template.html Define your template parameters as a Map<String,Object>:Map<String, Object> template_para...原创 2018-10-10 11:15:27 · 540 阅读 · 0 评论 -
Java API [6.4] » Search API » Search Template
https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/java-search-template.html [[java-search]]== Search APIThe search API allows one to execute a search query and get back sear...原创 2018-09-21 13:42:12 · 218 阅读 · 0 评论 -
elasticsearch条件查询语句与聚合查询语句模板
https://blog.csdn.net/lpp_dd/article/details/73136059 字段解释:条件查询:_source:表示需要展示的字段聚合查询field: 表示聚合的字段size 显示条数order 排序方法1、条件查询语句{ "_source": [ "UUID", "workOrderData.appNo"...转载 2018-09-21 10:51:22 · 1802 阅读 · 0 评论 -
Elasticsearch(四)elasticsearch复杂检索
https://blog.csdn.net/cc907566076/article/details/78553950 Query-string 搜索通过命令非常方便地进行临时性的即席搜索 ,但它有自身的局限性(参见 轻量 搜索 )。Elasticsearch 提供一个丰富灵活的查询语言叫做 查询表达式 , 它支持构建更加复杂和健壮的查询。 领域特定语言 (DSL), 指定了使用一个 JS...转载 2018-09-21 10:48:41 · 326 阅读 · 0 评论 -
Elasticsearch查询match、term和bool区别
https://blog.csdn.net/tanga842428/article/details/75127418elasticsearch 查询(match和term)es中的查询请求有两种方式,一种是简易版的查询,另外一种是使用JSON完整的请求体,叫做结构化查询(DSL)。由于DSL查询更为直观也更为简易,所以大都使用这种方式。DSL查询是POST过去一个json,由于p...原创 2018-09-21 10:41:59 · 351 阅读 · 0 评论 -
Elasticsearch 的坑爹事——记录一次mapping field修改过程
https://www.cnblogs.com/Creator/p/3722408.html 本文记录一次Elasticsearch mapping field修改过程团队使用Elasticsearch做日志的分类检索分析服务,使用了类似如下的_mapping 1 2 3 4 5 6 7 8 9 10 ...转载 2018-10-30 09:12:55 · 1138 阅读 · 0 评论 -
过滤查询以及聚合
https://blog.csdn.net/dm_vincent/article/details/42757519A natural extension to aggregation scoping is filtering. Because the aggregation operates in the context of the query scope, any filter appli...转载 2018-10-30 10:51:54 · 288 阅读 · 0 评论 -
ElasticSearch增加Mapping及Mapping字段
https://blog.csdn.net/huang_550/article/details/80619750 2.3.x创建MappingPOST /new_test/record/_mapping/{ "record": { "properties": { "analyze_date": { "...转载 2018-10-30 20:27:59 · 1462 阅读 · 0 评论 -
Elasticsearch如何更新mapping
https://blog.csdn.net/Sympeny/article/details/77650414Elasticsearch 的 mapping 在创建 indices 时即已确定,无法更改。那么,当我们需要更新 mapping 时,该如何是好呢?基本思路当我们在创建一条索引时,添加好 mapping 后,可设置一个 alias 指向该索引,然后生产环境采用该 alias 来索...转载 2019-02-26 21:14:06 · 7897 阅读 · 0 评论 -
Elasticsearch 5.x 字段折叠的使用
https://elasticsearch.cn/article/132 在 Elasticsearch 5.x 有一个字段折叠(Field Collapsing,#22337)的功能非常有意思,在这里分享一下, 字段折叠是一个很有历史的需求了,可以看这个 issue,编号#256,最初是2010年7月提的issue,也是讨论最多的帖子之一(240+评论),熬了6年才支持的特性,你说牛...转载 2019-01-22 21:28:58 · 121 阅读 · 0 评论 -
Elasticsearch from+size 超过10000结果解决方法
https://blog.csdn.net/qq_18145031/article/details/53489370方法一:如果需要搜索分页,可以通过from size组合来进行。from表示从第几行开始,size表示查询多少条文档。from默认为0,size默认为10,如果搜索size大于10000,需要设置index.max_result_window参数注意:size的...转载 2019-01-22 21:18:21 · 8194 阅读 · 3 评论 -
Elasticsearch 2.0以上版本根据条件批量删除Java如何实现
https://blog.csdn.net/dufufd/article/details/80319433Elasticsearch在2.0以前版本,删除操作有两种方式,一种是通过id来进行删除,但是这种方式一般不常用,因为id不容易得到;另一种方式是通过先查询操作,然后删除,也就是通过client.prepareDeleteByQuery这种方式来根据条件批量删除数据:DeleteBy...转载 2019-01-22 14:39:23 · 966 阅读 · 0 评论 -
es基本概念(集群-节点-分片)
集群: ES节点:运行的ES实例 ES集群由若干节点组成,这些节点在同一个网络内,cluster-name相同节点: master节点:集群中的一个节点会被选为master节点,它将负责管理集群范畴的变更,例如创建或删除索引,添加节点到集 群或从集群删除节点。master节点无需参与文档层面的变更和搜索,这意味着仅有一个master节点并不会因流量增长而成为 ...原创 2019-01-21 21:05:50 · 6341 阅读 · 1 评论 -
spring 操作elasticsearch
https://blog.csdn.net/u013378306/article/details/52185063 package com.gooddeep.dev.elasticsearch.commons.dao; import java.util.ArrayList;import java.util.List;import java.util.Map; import o...转载 2018-12-13 19:27:16 · 428 阅读 · 0 评论 -
Elasticsearch 常用基本查询
https://www.cnblogs.com/sunfie/p/6653778.html Elasticsearch 常用基本查询安装启动很简单,参考官网步骤:https://www.elastic.co/downloads/elasticsearch 为了介绍Elasticsearch中的不同查询类型,我们将对带有下列字段的文档进行搜索:title(标题),authors(作...转载 2018-12-05 09:49:27 · 221 阅读 · 0 评论 -
通过Java的Domain类构建ElasticSearch的mapping
https://www.cnblogs.com/atomicbomb/p/6900166.html 通过给定一个Java的class类自行创建ElasticSearch的mappingOrder的domain类public class Order { public String system_id; public String finger_id; p...转载 2018-11-03 16:16:09 · 537 阅读 · 0 评论 -
elasticsearch中一个field多个值如何操作 保存和查询
https://blog.csdn.net/achilles12345/article/details/41442325 在做项目中用到全文检索时遇到这样的需求,有个field的值是多个uuid格式的id组成的字符串,每个id之间用英文逗号分隔,在查询时如果有一个关键字和这个字符串中的一个id一样的话则要取出这个数据。这里要注意,很显然是很难对uuid组成的字符串进行切词的,而且如果uu...转载 2018-09-20 20:48:54 · 4517 阅读 · 0 评论 -
mysql日志binlog消费初体验
http://www.kailing.pub/article/index/arcid/173.html 前言碎语早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&am...转载 2018-09-18 19:07:53 · 1577 阅读 · 0 评论 -
MysqlsMom: 同步mysql数据到elasticsearch的利器
https://blog.csdn.net/u014386870/article/details/81409901把Mysql的数据同步到Elasticsearch是个很常见的需求,但在Github里找到的同步工具用起来或多或少都有些别扭。 例如:某记录内容为”aaa|bbb|ccc”,将其按|分割成数组同步到es,这样的简单任务都难以实现,再加上配置繁琐,文档语焉不详… 所以我写了个同步...转载 2018-09-18 19:03:35 · 842 阅读 · 0 评论 -
Elasticsearch的功能、适用场景以及特点介绍
1、Elasticsearch的功能,干什么的2、Elasticsearch的适用场景,能在什么地方发挥作用3、Elasticsearch的特点,跟其他类似的东西不同的地方在哪里-----------------------------------------------------------------------------------------------------------...原创 2018-08-29 23:00:52 · 1842 阅读 · 0 评论 -
什么是Elasticsearch
什么是ElasticsearchElasticsearch,分布式,高性能,高可用,可伸缩的搜索和分析系统1、什么是搜索?2、如果用数据库做搜索会怎么样?3、什么是全文检索、倒排索引和Lucene?4、什么是Elasticsearch?-------------------------------------------------------------------------...原创 2018-08-29 22:58:51 · 495 阅读 · 0 评论 -
elasticsearch条件查询语句与聚合查询语句模板
https://blog.csdn.net/lpp_dd/article/details/73136059 字段解释: 条件查询:_source:表示需要展示的字段聚合查询field: 表示聚合的字段size 显示条数order 排序方法 1、条件查询语句 { "_source": [ "UUID", ...转载 2018-08-21 02:34:32 · 1180 阅读 · 0 评论 -
elasticsearch 索引太多太大会影响写入性能吗?
https://elasticsearch.cn/question/3595小弟使用filebeat+kafka+logstash+elasticsearch的模式收集log,现在log大约每天150g左右,kafka的消费速度非常慢,总是有大量log堆积,现在elasticsearch集群分布在5台机器上12核12g的机器,是哪里不对吗?...转载 2018-08-21 02:34:42 · 11378 阅读 · 0 评论 -
Elasticsearch6.X 去重详解
https://blog.csdn.net/laoyang360/article/details/799056761、题记Elasticsearch有没有类似mysql的distinct的去重功能呢?1)如何去重计数? 类似mysql: select distinct(count(1)) from my_table; 2)如何获取去重结果。 类似mysql:SELECT DIST...转载 2018-08-21 02:34:55 · 569 阅读 · 0 评论 -
实现多级排序以及多级排序的优化
https://elasticsearch.cn/question/5030 业务中想实现多级排序,类似最简单的多级排序: "sort": [ { "date": { "order": "desc" }}, { "_score": { "order": "desc" }} ]现在业务逻辑比较复杂,使用了脚本转载 2018-08-17 15:28:07 · 1507 阅读 · 0 评论 -
Mmap fs可能让大索引访问变得缓慢
https://elasticsearch.cn/article/754 分享到:QQ空间新浪微博微信QQ好友印象笔记有道云笔记在一年多以前,我写过Elasticsearch 5 入坑指南一文,其中提到将生产的某个ES集群从2.4升级到5.0以后, 冷数据结点搜索性能变差,对大索引进行搜索的时候,io read会长时间飙高,导致系统load很重,甚至到无法响应的程度。 通过进一步分...转载 2018-08-17 14:51:26 · 1734 阅读 · 1 评论 -
严选 | Elasticsearch史上最全最常用工具清单
https://blog.csdn.net/laoyang360/article/details/806457101、题记工欲善其事必先利其器,ELK Stack的学习和实战更是如此,特将工作中用到的“高效”工具分享给大家。希望能借助“工具”提高开发、运维效率!2、工具分类概览2.1 基础类工具1、Head插件1)功能概述:ES集群状态查看、索引数据查看、ES DS...转载 2018-08-17 14:13:56 · 414 阅读 · 0 评论 -
elasticsearch技术总结(二)-集群管理
所谓集群管理是指集群搭建好后的日常维护和管理。一 集群健康集群状态分为三种:green : 所有主分片以及副分片都可用;yellow:部分副本不可用;red:丢失分片其中集群状态为 green 和 yellow ,集群正常,数据完整;状态为red部分数据丢失,分配到缺失分片的操作会有异常;集群状态以及分片状况可以通过kibana查看, 也可以通过下列命令查看GET...转载 2018-08-17 02:23:40 · 207 阅读 · 0 评论 -
elasticsearch技术总结(一)-集群分片
一 分片概念以及设置分片概念:一个 分片 是一个底层的 工作单元 ,它仅保存了全部数据中的一部分。我们往 Elasticsearch 添加数据时需要用到索引 —— 保存相关数据的地方。索引实际上是指向一个或者多个物理 分片 的 逻辑命名空间。分片分为主分片和副本,数量可以设置。举个例子:假设elasticsearch集群由6台服务器,分别是 node-1、node-2、node-3...转载 2018-08-17 02:17:42 · 206 阅读 · 0 评论 -
手工画图剖析Elasticsearch核心概念:NRT、索引、分片、副本等
1、lucene和elasticsearch的前世今生2、elasticsearch的核心概念3、elasticsearch核心概念 vs. 数据库核心概念----------------------------------------------------------------------------------------------------------------------...原创 2018-08-29 23:03:45 · 1829 阅读 · 0 评论 -
快速入门案例实战之电商网站商品管理:集群健康检查,文档CRUD
1、document数据格式2、电商网站商品管理案例:背景介绍3、简单的集群管理4、商品的CRUD操作(document CRUD操作)----------------------------------------------------------------------------------------------------------------------------1...原创 2018-08-29 23:05:53 · 157 阅读 · 0 评论 -
mysqlbinlog入elasticsearch
http://blog.51cto.com/qhd2004/2105032 2018-04-18 18:02:59环境准备:10.99.35.214上安装elasticsearch-5.4.1.tar.gz、jdk-8u121-linux-x64.tar.gz、kibana-5.1.1-linux-x86_64.tar.gz、nginx-1.12.2.tar.gz10.99.3...转载 2018-09-18 18:55:56 · 1367 阅读 · 0 评论 -
【技术实验】mysql准实时同步数据到Elasticsearch
https://yq.aliyun.com/articles/276730摘要: Elasticsearch作为大数据场景下搜索和分析的引擎,广泛应用于实时数据分析等场景。本文作者梳理了从MySQL准实时同步数据到Elasticsearch的实操步骤,帮助开发者理解和快速上手。实验背景Elasticsearch在阿里云商业化已经有一段时间,它作为大数据场景下搜索和分析的引擎,可以用于...转载 2018-09-18 16:58:43 · 1502 阅读 · 0 评论