清es数据

最新推荐文章于 2023-05-26 17:35:55 发布
最新推荐文章于 2023-05-26 17:35:55 发布
阅读量2.3k 收藏
点赞数
分类专栏： 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41891425/article/details/112953736
版权

停掉节点上面的数据发送 才能清理es数据库的数据（send command to all sessions里面操作）

1.在SecureCRT里面登录几个节点（192.168.12.### ，192.168.12.###，192.168.12.###）
在这里插入图片描述

2.打开SecureCRT向多个窗口发送相同命令
在这里插入图片描述
在这里插入图片描述
之后的操作是在send commands to all sessions里面操作
3.cd /opt 进入到节点的opt目录下
4.ll 查看当前目录下的文件
5.cd zwnsq 进入到zwnsq目录
6.clear
7.ll 查看文件
8.docker-compose -f nsq.yml down 停掉
在这里插入图片描述
会出现stopping … done
stopping … done
removing …done
9.ll data 查看data文件的数据
在这里插入图片描述

10.rm -f data/* 删除data文件下的所有数据
在这里插入图片描述

11.clear
在这里插入图片描述

12.ll 查看文件
在这里插入图片描述

13.docker-compose -f nsq.yml up -d 启动
启动成功会出现creating …
creating …done
creating …done

redis集群清理数据（在某个节点上面操作）

1.在某个节点上 清理redis缓存 ，不需要所有节点都执行命令
2.docker exec -it zwporter_redis_1 reids-cli
FLASHALL
QUIT
在这里插入图片描述
3.docker-compose -f nsq.yml up -d

3、es数据库上面清理数据

这个页面 删除所有的index
在这里插入图片描述

生活热爱就好
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
ES7243E.pdf - 数据手册 - 芯片手册
06-21
它可以将音频信号进行编码和解码，以实现音频数据的传输和处理。 高音质和低噪声：ES7243E 提供了高品质的音频输出，具有低失真和低噪声的特点。它采用了先进的音频处理算法和低噪声电路设计，以提供清晰、逼真的...
python清除es索引
weixin_42715225的博客
04-19 1319
#### 前言 当不需要查看的日志索引占用大量的空间时，需要去清楚 #### python脚本语言实现清楚指定月份的es日志索引 ##### python脚本文件 ``` cat > /data/python3/delete-es-index.py <<-EOF #!/usr/bin/env python3 import subprocess i...
【ES实战】节点数据的清空
coding and writing
11-23 4482
节点数据清空处理 文章目录节点数据清空处理1、查询集群原来的配置2、清空节点数据3、检查是否排空数据4、数据清空失败场景5、加快分片迁移 1、查询集群原来的配置 curl -X GET "http://{ip}:{port}/_cluster/settings?pretty" 出于某种原因，集群中原来就已经排除了某些数据节点，这些配置在未确定的情况下保持不动，数据还是排除。 { "persistent": { "cluster": { "routing":
es清空索引数据_Elasticsearch搜索引擎详解系列-存储（2）
weixin_39979332的博客
11-30 428
分段存储Elasticsearch底层属于分段存储，何为段？索引文件被拆分为多个子文件，则每个子文件叫做段，每一个段本身都是一个倒排索引，并且段具有不变性，一旦索引的数据被写入硬盘，就不可再修改。段被写入到磁盘后会生成一个提交点，提交点是一个用来记录所有提交后段信息的文件。一个段一旦拥有了提交点，就说明这个段只有读的权限，失去了写的权限。相反，当段在内存中，就只有写的权限，而不具备读数据的权限，意...
清理ELASTICSEARCH索引
zhengt666的博客
12-04 1297
elk磁盘占用达到90%以后后，添加索引失败处理办法
ES操作：删除数据（单条、多条、清空、所有）
热门推荐
进击的小白
01-25 5万+
使用_delete_by_query操作，根据查询匹配进行删除。 删除单条数据 POST http://es-server:9200/{index_name}/_delete_by_query #body { "query":{ "term":{ "_id":4043 } } } 清空索引数据 POST http://es-server:9200/{index_name}/_delete_by_query #body { "query": { "m
es历史数据清理
来自星星的技术男
12-08 2787
以下脚本加入crontab -e 1 2 #每天凌晨1点执行清理es数据 0 1 * * */data/es/rm_es.sh >>/data/es/logs//rm_es.log 　　 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19..
自动清理 ES 历史数据
最新发布
weixin_44770684的博客
05-26 4116
另一个是关键的定时任务，用于删除ES历史数据。随着业务的增长和时间的变化，ES 数据库的存储空间越来越大，存储数据多数为系统监控日志，保存的数据不需要长期保留，多数情况只需要保留几个月ES数据即可，既可以减轻ES服务器的负载和资源使用率，还可以节约更多的存储空间。curl -X DELETE 删除ES索引是没有详细日志的，所以需要在删除前执行 curl -X GET 获取删除前索引信息，一旦出现异常就可以更好判断当次定时任务实际删除了那些内容，实际上是否成功按照保留天数执行了。3、查看创建好的定时任务。
ES删除数据
xnlej的博客
05-23 2万+
es 删除数据的三种方法1  因为高版本的es并不支持批量删除，所以第一个方法思路，首先查询es 获取主键id,然后根据id逐个删除def scrollScanDeleteByTopic(client:TransportClient,index:String,topic:String)= { var searchResponse = client.prepareSearch(index).se...
es数据定时清理_定时清理elasticsearch
weixin_39991935的博客
12-20 647
索引这种格式以下脚本加入crontab#每天清理es数据0 1 * * * /data/sh/rm_esindex.sh >> /data/logs/crontab/rm_esindex.log#!/bin/ship='192.168.0.57'port='9200'day=`date -d "1 month ago" +%Y.%m.%d`echo ""echo `date`index...
面试官：如何定期去清理ES集群的数据
爱开发
07-14 346
如何定期去清理ES集群的数据文|洪生鹏作为一名程序员，求职面试时，不知道你有没有遇到这样的面试题。如何定期去清理ES集群的数据？张工是一名java程序员，有两年大数据开发经验，最近到某知名互联网公司面试，面试官就问了他这样的一个问题：如何定期去清理ES集群的数据以保证集群处在一个最佳负载状态？张工：编写shell脚本定时删除索引就好了。面试官：如果是删除具体某个索引的数据...
es-import-tsv:读取 TSV 并将数据导入 Elasticsearch
06-12
创建一个管道的简单示例，该管道读取 TSV 文件，执行一些基本清理，并将结果索引到 Elasticsearch。 实际代码在，但运行编译后的 JS 代码不需要 Coffeescript。 安装： npm i -g ewr/es-import-tsv 用法： es-...
ESAPI 2.1.0-dist.zip 包含doc文档
09-18
ESAPI接口库，免费、开源。使程序员能够更容易写出更低风险的程序，减少轻微漏洞的产生，被设计来使程序员能够更容易的在现有的程序中引入安全因素。
elasticsearch-mock-js:一个用于快速启动和拆卸Elasticsearch服务器以进行测试的模块
05-18
Elasticsearch-mock-js 一个npm模块，用于快速启动和拆卸Elastic...用法 const ES = require('elasticsearch-mock-js');ES.start(() => { console.log('Started'); ES.stop(() => { console.log('Stopped'); });});
elasticstore:Firebase CloudFirestore + ElasticSearch之间的可插入联合
05-06
监控多个Firestore collections和subcollections并实时添加/修改/删除索引的Elasticsearch数据 每个文档的transform ， filter ， include ， exclude和mapping功能 通过Firebase完全与客户端通信（无需Elastic...
sfs:PitchPoint解决方案使用的分布式对象存储服务器以最少的资源安全地存储数十亿个大小文件。 对象数据存储在实现为Facebooks Haystack Object Store的复制卷中。 本质上将对象名称映射到体积位置的对象元数据存储在elasticsearch索引中
05-05
对象元数据在Elasticsearch中建立索引，即使容器包含数百万个对象，也可以快速读取，更新，删除和列出 对对象进行版本控制，可以为每个容器配置存储的修订版本数。 这意味着您绝不会通过覆盖或删除对象来使对象变松...
pytest-elasticsearch：这是一个pytest插件，使您能够测试依赖于正在运行的Elasticsearch搜索引擎的代码。 它允许您为Elasticsearch流程和客户端指定固定装置
02-28
pytest-elasticsearch 包裹状态 ... elasticsearch_nooproc -一个nooprocess夹具，这是保持连接数据已经运行elasticsearch 只需将这些装置之一包含在您的测试装置列表中即可。 如果您需要： from pyte
Java做客户端对Elasticsearch服务的增删改查及批量修改操作
04-08
Java做客户端对Elasticsearch服务的增删改查及批量修改操作,代码简洁易懂,思路清晰有注释.详情参考https://blog.csdn.net/linhaiyun_ytdx/article/category/7042758
elasticsearch_data_generator:使用 Sense 轻松生成弹性搜索数据
07-18
上传数据到 Elasticsearch 为了简化 cURL 命令，这里使用了 Marvel 插件中的 Sense。 使用生成器网站生成数据。 将数据复制到 INDEX_NAME.json。 INDEX_NAME 可以是任何你想要的。 $ ./senseGenerator.sh INDEX_NAME...
11天定时清理es数据shell脚本
04-28
好的，针对这个问题，我可以给出一个示例的 shell 脚本来实现定时清理 Elasticsearch 数据的功能。具体的脚本如下： ```shell #!/bin/bash # Elasticsearch 集群节点地址 ES_HOST="localhost:9200" # 数据保存的索引名称 INDEX_NAME="my_index" # 删除索引数据的时间阈值，单位为天 DAYS_THRESHOLD=11 # 获取当前时间 CURRENT_DATE=$(date +%s) # 计算删除数据的时间戳 DELETE_DATE=$(expr $CURRENT_DATE - $DAYS_THRESHOLD \* 24 \* 60 \* 60) # 构建删除请求体 DELETE_REQUEST_BODY="{\"query\":{\"range\":{\"@timestamp\":{\"lte\":$DELETE_DATE}}}}" # 发送删除请求 curl -XPOST "$ES_HOST/$INDEX_NAME/_delete_by_query" -H 'Content-Type: application/json' -d "$DELETE_REQUEST_BODY" ``` 该脚本的主要作用是利用 Elasticsearch 的 Delete By Query API 删除指定时间前的数据。其中，需要根据实际情况修改 ES_HOST、INDEX_NAME 和 DAYS_THRESHOLD 这三个变量。将脚本保存为一个文件，例如 `es_clean.sh`，然后使用 crontab 工具设置定时任务即可。例如，设置每天凌晨 3 点钟运行脚本的任务可以使用如下命令： ```shell 0 3 * * * /path/to/es_clean.sh ``` 这样，脚本就会在每天的凌晨 3 点钟自动运行，定期清理 Elasticsearch 中指定索引的数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

生活热爱就好

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值