开放平台上线--elasticsearch数据删除与读写流程

最新推荐文章于 2024-07-24 21:04:47 发布
最新推荐文章于 2024-07-24 21:04:47 发布
阅读量358 收藏
点赞数
分类专栏： ElasticSearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31780525/article/details/111155073
版权

一、数据删除

1. 分片大小、分片个数

   机器少的话，分片数最好是你的data节点的机器数倍数，这样请求负载能够均摊到每个机器上，如果机器比较多，最好保证分片数不要太多，比如最好别超过20－30个，然后根据你的数据量评估一下，尽量保证每个分片在15到20G

2.实际分片 

 a. 实际数据库存储大小
 500万条 555M         100万->110M  
 b. 预计分配
 200w/d -> 220M/d  200W*30 ->220*30=6600M=6.5G
 即每月6-10G，共3台机器，3个分片

3. 删除策略
Elasticsearch 高版本已经取消了TTL功能，所以最好不要用TTL，如果需要删除文档，可以每月创建一个索引，到期后直接删除过期的索引，方便快捷，这也是官方推荐的方案。

1.mysql导入es性能

120万 476秒=8min 2000条/s

二、ES读写流程

https://www.processon.com/diagraming/5eba18da5653bb6f2a0329ec

三 keyword vs text

keyword：存储数据时候，不会分词建立索引
text：存储数据时候，会自动分词，并生成索引（这是很智能的，但在有些字段里面是没用的，所以对于有些字段使用text则浪费了空间）。text类型的会进行分词，查询时会根据匹配度等进行打分，分值高的文档查询时排在前面 
must返回的文档必须满足must子句的条件，并且参与计算分值
filter返回的文档必须满足filter子句的条件，但是不像must一样，参与计算分值，智慧过滤符合条件的文档
时间支持
yyyy-MM-dd HH:mm:ss     2020-05-13 15:59:25
strict_date_optional_time  2020-05-13T15:59:25.4172994+08:00

 

龙骨
关注
专栏目录
十万字图文详解mysql、redis、kafka、elasticsearch（ES）多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案，如何构建数据仓库、数据湖、数仓一体化？
代码讲故事
09-05 2234
数据库大数据量、高并发、高可用解决方案，十万字图文详解mysql、redis、kafka、elasticsearch（ES）多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案，如何构建数据仓库、数据湖、数仓一体化？Delta Lake、Apache Hudi和Apache Iceberg数仓一体化技术架构实现。
XXL-JOB完全开发手册（一篇学会XXL-JOB所有知识点）
hao_kkkkk的专栏
03-19 774
如果任务类型为 “GLUE模式”，将会加载 GLue 代码，实例化 Java 对象，注入依赖的 Spring 服务（注意：Glue代码中注入的Spring服务，必须存在与该“执行器”项目的Spring容器中），然后调用execute方法，执行任务逻辑。使用于业务复杂，业务量大，服务器多。​ 调度中心和执行器两个模块分开部署，相互分离，两者之间通过RPC进行通信，其中调度中心主要是提供一个平台，管理调度信息，发送调度请求，自己不承担业务代码，而执行器接受调度中心的调度执行业务逻辑。
linux删除es索引数据库,shell脚本批量删除es索引的方法
weixin_42099633的博客
05-07 2121
发现elasticsearch集群的状态是red，unassign的分片数很多，看了下都是些旧的日期的索引(应该是定时任务删除失败导致的)。curl -xget ip:port/_cat/shards | grep unassigned数量有几百个，写个脚本处理下，先恢复成green。red状态好像会影响索引创建和数据迁移先把需要删除的索引导出到文件curl -xget ip:port/_cat/...
elasticsearch 5.x 系列之六 文档索引，更新，查询，删除流程
一杯派蒙的博客
09-06 876
一、elasticsearch index 索引流程 步骤： 客户端向Node1 发送索引文档请求 Node1 根据文档ID(_id字段)计算出该文档应该属于shard0，然后请求路由到Node3的P0分片上。 Node3在P0上执行了请求。如果请求成功，则将请求并行的路由至Node1，Node2的R0上。当所有的Replicas报告成功后，Node3向请求的Node(Node1)发送成功...
elasticsearch Insert 插入数据和delete 删除数据（Java）
春华秋实
01-11 7540
首先我不赞成再采用一些中间件（jar包）来解决和 Elasticsearch  之间的交互，比如 Spring-data-elasticsearch.jar 系列一样，用就得依赖它。而 Elasticsearch  本身的用法就是很简洁的，也很容易，只要稍微加一下封装，即可解决。下面上我的简单封装的批量处理。 package com.sojson.core.elasticsearc
Elasticsearch删除索引
felcon的专栏
06-30 3万+
curl -XDELETE 'http://host.IP.address:9200/logstash-*'如上是删除所有以logstash-开始的索引。 具体API可以看这里
ElasticSearch 数据增删改实现
xsdxs的博客
06-03 5万+
前言 本文介绍 ElasticSearch 增加、删除、修改数据的使用示例。通过Restful 接口和 Python 实现。详细可参考官网资料：https://www.elastic.co/guide/en/elasticsearch/reference/current/docs.html
数据中台建设方案-基于大数据平台
2301_76549664的博客
03-14 4455
通过对客户大数据应用平台服务需求的理解，根据建设目标、设计原则的多方面考虑，建议采用星环科技Transwarp Data Hub（TDH）大数据基础平台的架构方案，基于Transwarp Operating System（简称TOS）云平台方式部署构建。 通过建立大数据集成平台、大数据计算平台、大数据开发平台及大数据运维平台来满足客户大数据应用平台服务建设的要求。
【愚公系列】《AIGC辅助软件开发》011-AI辅助编写技术文档：技术文档
最新发布
时光隧道
07-24 1万+
在当今快速发展的技术环境中，技术文档的编写变得愈加重要。无论是软件开发、产品设计，还是系统架构，清晰、准确的技术文档不仅能帮助团队成员快速理解项目，还能为用户提供必要的使用指导。然而，编写高质量的技术文档常常是一项繁琐且耗时的任务。随着人工智能技术的不断进步，AI工具的辅助作用逐渐显现，特别是在技术文档的编写过程中。借助AI，开发者和技术作家可以更高效地生成、编辑和维护文档，从而专注于更高层次的创作和思考。
Elasticsearch面试题（大数据面试）
let_go_on的博客
08-12 252
概述 Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎.基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。Luncene是单节点的API，ElasticSearch是分布式的。当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包
Excel实用小技巧
qq_36521848的博客
09-13 3989
excel数据查找VLOOKUP =VLOOKUP(D1,A:A,1,FALSE) 要去查找的数据，在哪里查找，查找后的数据返回那一列（序号），精准匹配（false）/模糊匹配(true) 查找D1在AB两列中对应的B值 数据筛选：选中数据-->ctrl+shift+L 数据去重=选中数据--数据--高级--选择不重复的记录--确定 ...
边学边实战系列（七）：ElasticSearch 文档索引与读取流程详解
民工哥的博客
05-30 631
点关注公众号，回复“1024”获取2TB学习资源！前面介绍了技术原理、安装和基础使用、索引管理、 DSL 查询、聚合查询相关的知识点。今天我将详细的为大家介绍 ElasticSearch 索引文档与读取文档流程相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！！！ElasticSearch 中最重要原理是文档的索引和读取！索引文档流程文档索引步骤顺序单个文档新建单个文档所需要的...
记录一次完整数据导入ES到清理流程
qq_29940863的博客
07-23 452
1.创建索引 curl -XPUT ip:port/index_name -H “Content-Type: application/json” -d ‘{“settings”: {“number_of_replicas”:0,“number_of_shards”:3,“refresh_interval”:"-1",“index.mapping.total_fields.limit”:100}}’ 指定0个备份，3个分片，不更新索引，字段最多100个 2.导入数据 大部分可以用datax，也可以手写bulk
Elasticsearch索引自动化分片、过期删除、节点漂移
u012452483的博客
09-03 531
配置索引生命周期管理 (ILM) 策略，以根据集群的性能、弹性和保留要求自动管理索引。例如，可以使用 ILM 来：当索引达到一定大小或文档数量时启动新索引每天、每周或每月创建一个新索引并归档以前的索引删除过时的索引以执行数据保留标准可以通过 Kibana Management（引导页面） 或 ILM API（接口） 创建和管理索引生命周期策略。
elasticsearch 5.x之后ttl弃用的代替方案
嘿！没错，我是李先生
01-02 800
1.使用基于时间的索引名称。 2.使用delete-by-query方法删除特定时间范围的数据。 参考： https://www.elastic.co/guide/en/elasticsearch/reference/5.0/breaking_50_mapping_changes.html#_literal__timestamp_literal_and_literal__ttl_literal： https://www.elastic.co/guide/en/elasticsearch/reference/
ElasticSearch删除索引中的数据（delete_by_query）
IT之一小佬的博客
04-17 1万+
ElasticSearch删除索引中的数据（delete_by_query）
Elasticsearch增、删、改、查操作深入详解
热门推荐
铭毅天下Elasticsearch
07-17 17万+
引言：对于刚接触ES的童鞋，经常搞不明白ES的各个概念的含义。尤其对“索引”二字更是与关系型数据库混淆的不行。本文通过对比关系型数据库，将ES中常见的增、删、改、查操作进行图文呈现。能加深你对ES的理解。同时，也列举了kibana下的图形化展示。ES Restful API GET、POST、PUT、DELETE、HEAD含义： 1）GET：获取请求对象的当前状态。 2）POST：改变对象的当前
Elasticsearch 删除文档流程
John_chu的博客
10-13 761
假设存在三个节点 NODE1、NODE2、NODE3。其中 NODE1 会接受客户端的请求，它作为 Coordinate Node 或者成为 Master Node。将索引放到两个分片中，主分片分别为 P0 和 P1，P0 对应的两个副本 R0、R0，P1 对应的两个副本 R1、R1 删除流程和创建数据索引类似，删除只是标记这个文档不可用，并不是立即删除。 1. 客户端向 NODE1 发送删除请求。 2. 节点使用文档 id 确定文档属于 P0 ，请求会被转发到 NODE 3。 3. NODE3
Elasticsearch的写底层原理以及删除更新的原理
取个名字真TM难的博客
01-09 2719
一、写数据的底层原理 数据写入的底层流程原理 1、数据先被写进内存buffer，同时这一操作也写进translog中，这时的数据还不可被检索到。 2、每隔1s(这个时间可以调整)进行一次refresh，将buffer内1s的数据写进os cache中，构成一个segment分段，同时清空buffer，这时数据可以被检索到，但由于数据仍然在内存中，若发生故障，数据是可以丢失的。 3、不断地重复上面的...
"HBase-Elasticsearch 数据同步功能与案例
其中，bboss提供了多种类型数据源数据同步功能，包括将数据库表数据同步到Elasticsearch、将数据库表数据同步到数据库表、将Elasticsearch数据同步到数据库表、将Elasticsearch数据同步到Elasticsearch、将mongodb...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值