【elasticsearch】ES 冷归档数据如何处理

最新推荐文章于 2024-08-29 17:23:07 发布
最新推荐文章于 2024-08-29 17:23:07 发布
阅读量2.1k 收藏
点赞数
分类专栏： java 文章标签： java 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67402564/article/details/124460036
版权
本文介绍了如何使用低配置机器作为Elasticsearch的WarmNodes来存储冷数据，通过设置`index.routing.allocation.require.box_type`来区分冷热数据。当索引不常使用时，可以将其关闭以节省资源，需要时再打开进行搜索，从而实现资源的有效利用。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

使用相对低配的大磁盘机器配置为 ES 的 Warm Nodes，可以通过 index.routing.allocation.require.box_type 来设置索引是冷数据或者热数据。如果索引极少使用，可以 close 索引，然后在需要搜索的时候 open 即可。

m0_67402564
关注
专栏目录
ES备份归档操作说明
04-11
es的备份归档以及删除原数据操作，本人按照实际项目，在测试服务器上测试成功，内有截图以及各项操作的语句
Elasticsearch冷数据是归档到OSS里面吗？
aliyuncloud的博客
07-26 355
首先，冷数据是指不经常被访问的数据，通常存储在较低成本的存储介质上，以节省存储成本。选择适合您业务场景的方案，将冷数据归档到OSS中，既能节省存储成本，又能保证数据的可靠性和安全性。一种常见的做法是使用Elastisearch的插件或者第三方工具，将冷数据从Elasticsearch中导出，并将其存储到OSS中。这样可以实现将不经常被访问的数据从高成本的存储介质迁移至低成本的OSS上，以达到存储成本的节约。通过设置合适的条件和规则，将冷数据的归档过程自动化，并保证数据的完整性和安全性。
【面试】你了解Elasticsearch吗？如何优化其性能，保证数据安全和稳定？
最新发布
Liu_y_xin的博客
08-29 733
你了解Elasticsearch吗？Elasticsearch的倒排索引和深翻页是什么？我们该如何优化其性能，保证数据安全和稳定？
ElasticSearch数据备份与恢复
moxiaomomo的专栏
10-31 1万+
ElasticSearch数据备份与恢复最近线上业务ES日志量过于庞大, 达到500亿条(约30TB)记录，需要对旧的索引进行归档处理。用scan和scroll的方式导出备份基本是不可能的了, 本文主要是记录(Ubuntu环境)通过sshfs共享文件系统来进行快照方式备份数据。 假设ES集群有三个节点:192.168.1.10 192.168.1.11 192.168.1.121. 创建共享目录
数据存储：ElasticSearch如何存储和管理数据
AI天才研究院
01-21 1994
1.背景介绍 在大数据时代，数据存储和管理成为企业和组织的重要需求。ElasticSearch是一个开源的搜索和分析引擎，它可以帮助我们高效地存储和管理数据。在本文中，我们将深入了解ElasticSearch的核心概念、算法原理、最佳实践、应用场景和未来发展趋势。 1. 背景介绍 ElasticSearch是一个基于Lucene的搜索引擎，它具有分布式、可扩展、实时搜索等特点。Elastic...
elasticsearch-8.11.3-linux-x86-64.tar.gz.zip
12-22
Elasticsearch是一个强大的开源搜索引擎和分析引擎，广泛应用于大数据处理、日志分析、实时搜索等领域。这个"elasticsearch-8.11.3-linux-x86-64.tar.gz.zip"文件是Elasticsearch的8.11.3版本，专门为Linux x86_64...
elasticsearch-7.17.3
06-09
1. 分布式：Elasticsearch设计为分布式的，可以在多台机器上运行并自动处理数据的复制和故障恢复，提供高可用性和容错性。 2. 实时：索引的数据几乎立即可用于搜索，适合需要快速响应的应用场景。 3. RESTful API：...
ES(Elasticsearch)的docker安装部署教程
热门推荐
qq_33034733的博客
05-24 1万+
需要手动将docker中的es四个目录同步到宿主机上。1.1 拉取docker镜像。1.2 创建es挂载目录。1.4 桥接网络节点配置。3、logstash部署。1.3 开放防火墙端口。1.5 容器实例启动。2、Kibana部署。
elasticsearch-dump-6.78.0.tar.gz
11-28
"elasticsearch-dump-6.78.0.tar.gz" 文件是一个包含 Elasticsearch-dump 工具的归档包，版本号为 6.78.0，通过解压可以获得该工具的执行文件和其他相关资源。 Elasticsearch 是一个基于 Lucene 的分布式、RESTful ...
es按月归档
tianlianchao1982的专栏
01-19 2457
get /log_app_business_202012*/basic/_search { "query": { "match_all": {} } } # 721 POST /_reindex { "source": { "index": "log_app_business_202012*", "size": 5000 }, "dest": { "index": "log_app_business_m202012" } } get /log_a...
JuiceFS 在 Elasticsearch/ClickHouse 温冷数据存储中的实践
JuiceFS的博客
09-28 718
企业数据越存越多，存储容量与查询性能、以及存储成本之间的矛盾对于技术团队来说是个普遍难题。这个难题在 Elasticsearch 与 ClickHouse 这两个场景中尤为突出，为了应对不同热度数据对查询性能的要求，这两个组件在架构设计上就有一些将数据进行分层的策略。同时，在存储介质方面，随着云计算的发展，对象存储以低廉的价格和弹性伸缩的空间获得了企业的青睐。越来越多的企业将温、冷数据迁移至对象存储。
elasticsearch数据备份及还原
足迹
10-14 531
1.找到elasticsearch.yml配置文件 在配置文件找到数据存放的地址吧下面的文件夹拷贝出来 # ----------------------------------- Paths ------------------------------------ # # Path to directory where to store the data (separate multipl...
elasticsearch数据备份和恢复
春风化雨
07-15 1万+
备份步骤：1、设置备份目录（用于存储备份文件）：进入es安装目录下面的config，编辑elasticsearch.yml加入：path.repo: ["/usr/local/backups/es_backup"]/usr/local/backups/es_backup:备份目录，根据自己情况进行填写重启elasticsearchchmod 755/usr/local/backups/e...
[Elasticsearch]2.数据存储：文档和索引
qq_38472635的博客
07-22 221
数据存储：文档和索引 连载更新中... Data in: Documents and indices Elasticsearch是分布式文档存储系统.数据不是以列和行的形式存储的，而是被序列化为JSON文档存储的.如果在Elasticsearch集群中有多个存储节点，这些文档是分散在多个节点上的，并且在任何一个节点上都可以访问这些文档.就问你，神奇不神奇? Elasticsearch is a distributed document store. Instead of storing inf
数据归档，冷热数据分离
weixin_30530939的博客
01-15 925
一.关于tokudb引擎 1.tokudb引擎特点 1.高压缩比，高写入性能 2.在线创建索引和字段 3.在线事务 4.支持索引同步 2.tokudb安装步骤 1.yum install jemalloc -y 2.vim /etc/my.cnf #添加如下 [mysqld_safe] malloc-lib=/usr/lib64/libjemalloc.so...
数据归档 - 冷热数据处理大师
Hyperchain的博客
07-06 655
—— Part1 现状 —— 区块链可以视作一个在分布式环境下众多可信节点共同维护的且不可篡改的账本。在区块链系统中，数据以区块作为基本单位，区块链系统利用levelDB基于Key-Value结构的数据库存取数据，通过多节点冗余存储实现账本可信，然而随着区块链运行时间的增长，区块链的存储容量将呈线性增长，且这种数据的增长速度甚至会超过存储介质容量增长的速度，因此，区块链数据存储将成为限制区块链技术发展的重要因素。 面对这一棘手的问题，数据归档技术应运而生，什么是数据归档呢？ —— Part2 什么是数据归
elasticsearch详解(四)——elasticsearch数据的基本操作
敲码的汉子
11-20 6987
elasticseach的基本操作api 和elasticsearch交互有两个方式，一种是http的方式，另一种是es的java客户端用tcp，用java代码交互，这也是前面我们看到的elasticsearch会暴漏出两个9200httpserver、9300tcpserver。 http的方式最为简单且常用，这里列举一些es常用的数据操作rest接口。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值