elasticsearch
文章平均质量分 52
sandwu
这个作者很懒,什么都没留下…
展开
-
python es.scan报异常: ValueError: invalid literal for int() with base 10: ‘‘
可以确认是在scan内部报的异常,所以是第三方库的异常,第三方库的异常要么通过升级第三方库,要么通过定位到问题来绕过该报错。在用es.scan的时候,意外发现报错,而相关的错误网上没有资料可查,阅读官网也只是标明了通过raise_on_error来控制是否报出错误,但本身用es.scan就是为了大数据量的时候保证数据的完整性,如果跳过异常,那不是数据完整性得不到保证了,所以还是得确认问题异常。在思路未清晰的时候,需要花大量的时间去定位es第三方库,但如果定位到是字段的异常,那就一切简单了;原创 2022-11-01 16:43:49 · 532 阅读 · 0 评论 -
elasticsearch 快照丢失部分的恢复 ----- 一种解决方式
举例说,我们的备份目录一般是存放在 /backup/indices/xxxx,这个xxxx就是es生成的标识md5码,此时每个节点,都有这样的目录,在这个目录下继续分 0/1/2三个目录,标识3个shard,将这三个目录在三个节点合并即可。es提供了数据备份和恢复的方式,可以很方便的供数据备份,同时应用于多套环境,且可以自定义备份目标(比如具体到索引),可以自定义备份策略(比如每天早上定时备份),可以说是非常方便,关于如何备份,网上的文档很多,有机会我也出一篇。所以恢复变得很随机,且不稳定。原创 2022-10-13 14:25:01 · 1225 阅读 · 0 评论 -
es oom kill(异常停止)---一种解决方案
通过查看/var/log/elasticsearch/下的日志发现没有输出,通过journalctl -xeu elasticsearch,只能看到关停了(且是被kill -9杀死),但未显示详细原因;回到主题,通过查看linux的负载、cpu、内存使用情况,发现除了内存外都不是很高,而内存也是按jvm.options里设置的大小来运行的,所以也并未超出限制;在将es拉起的过程中,发现es的replica有部分编程unsigned(采用的是replica为1的备份机制),就顺手解决这个问题。原创 2022-08-19 11:41:16 · 896 阅读 · 0 评论 -
Elasticsearch:论elasticsearch的来源和历史
文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结 前言 现在让我来介绍下elasticsearch的系列文章,本篇先从来源和历史说起,在了解一门新的知识的时候,了解其历史是非常有帮助的。 作为同MySQL一样重要的需纳入学习的非关系型数据库,我们可以带着这几个问题来学习: elasticsearch是为何而发展起来的? 它又是为了解决什么样的问题而存在的? 相比于solr、Lucene这些,它们的区别和优缺点是啥? 一、pandas是什么? 示例:pandas 是基原创 2021-01-31 23:55:53 · 253 阅读 · 0 评论