自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Angus

不积硅步无以至千里,不积小流无以致江海。靡有不凡,鲜克有终。~qq1210644725...

原创 failed to decrypt safe contents entry: javax.crypto.BadPaddingException: Given final block not prope

我这个错误是在es其中失败的时候报出来的: Caused by: java.security.UnrecoverableKeyException: failed to decrypt safe contents entry: javax.crypto.BadPaddingException: G...

2020-07-06 13:50:09 28 0

原创 es org.elasticsearch.bootstrap.StartupException: java.security.AccessControlException: access denied

启动es的时候报错如下: [2020-07-06T05:06:38,998][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [reading_10.10.10.2_master] uncaught exception in threa...

2020-07-06 13:20:54 24 0

原创 如何选elasticsearch 的版本

# #建议看下这篇文章 https://blog.csdn.net/u013613428/article/details/103317806

2020-07-05 00:10:34 36 0

原创 Please check the elasticsearch SSL settings under xpack.security.http.ssl.

es集群安全认证添加用户密码的时候,执行 ./bin/elasticsearch-setup-passwords interactive 报错如下 # # 原因是需要注释掉:yml里边的配置 添加完密码以后再打开

2020-07-04 14:59:02 37 0

原创 es 7.5.1版本 集群配置安全证书和开启ssl加密通信

前提是:已经搭建起来集群了,并且集群可以正常运行。所有的节点都是健康的状态。 另外我所有的操作都是直接使用启动es集群的用户做的,如果不是这个用户的话,对生成的证书还需要赋予可执行权限。 ##生成证书,给集群添加证书认证 生成证书不需关注集群是否启动。也就是不管集群有没有启动,都可以生成...

2020-07-04 13:40:02 71 0

原创 ShardLockObtainFailedException[[device_search3][2]: obtaining shard lock timed out after 5000ms

elasticsearch集群发生了故障,重新恢复,但是最后有一个分片一直没有恢复,导致集群一个主分片丢失,健康状态呈现红色。 错误如下: failed shard on node [bPftT3as9siI4nSGLA]: failed to create shard, failure I...

2020-06-29 18:57:49 49 0

原创 Trying to create too many scroll contexts. Must be less than or equal to: [500]

在做数据导出的时候,因为用到了滚动。因为每次调用都创建了scroll,而且我没有手动删除,而es默认的scroll是500个。到达500个没有清除的手,就会报这个错误。错误如下 {"error":{"root_cause":[{"type&q...

2020-06-22 15:45:21 67 0

原创 共享文件系统 sshfs

因为做Elasticsearch的跨集群数据迁移,所以用到了fs文件系统,因为每个节点在不同的机器上,生成的快照要到同一个地放去,所以我用sshfs搭建了共享文件系统。 # #安装sshfs 一般linxu系统上是需要安装的 如果是普通用户,可能需要加sudo才能执行 sudo ap...

2020-06-17 15:06:15 50 0

原创 elasticsearch 集群配置证书安全认证,如何跨集群同步数据

问题列表 不同集群之间是有安全认证的,证书问题需要解决。比方说A集群进行了安全认证,配置了安全证书,而B集群想要reindexA集群的数据。直接来做会报错。 这个问题我看官网整了半天,才把两个集群打通了。 可以看看官网:https://www.elastic.co/guide/en/elast...

2020-06-17 00:49:07 77 0

原创 Elasticsearch:使用Snapshot 进行数据备份迁移 - 实战

最近在做Elasticsearch集群的内容,除了集群的规划问题,优化问题。在elasticsearch升级的时候,做数据迁移也是一件头疼的事。自己做遇到了很多的坑,慢慢的填。比方说集群在配置安全认证以后,如何跨集群同步数据。这个问题在另外一篇文章中呈现。 而这篇文章主要是通过Snapshot...

2020-06-17 00:37:01 111 0

原创 学习 elasticsearch 的几个非常好的博主

俗话说授人以鱼不如授人以渔。近期一直在学习elasticsearch的东西,网上的文章非常杂,很多人就是用翻译直接翻译官网,然后断章取义。 官网不错,但是可能没有耐心看完。 推荐我在学习过程中看到的非常好的几个博主。闻道有先后,术业有专攻,想前辈致敬。不过长江后浪推前浪。 # #第...

2020-06-16 01:10:15 60 0

转载 大量数据场景下,elasticsearch 跨集群数据迁移

方案:采用 Snapshot 1.1、适合场景 1) 迁移速度快,适用数据量大的场景; 2) 需占用源集群磁盘空间,或者借助于对象存储,实现友商ES到腾讯云ES,或自建ES到腾讯云ES的数据迁移。 1.2、快照注意事项 1)快照是从正在运行的Elasticsearch集群中获取的备份。 ...

2020-06-16 00:57:16 203 0

转载 elasticsearch 跨集群数据迁移

1、问题引出 ES中文社区中,有如下问题: 问题1:存储数据,data目录从一个机器直接移到一台新的机器是否可以直接使用? 问题2:es升级时,data目录如果在外部路径,从低版本升级到高版本时,data目录是否直接可以使用? 问题3:将一个旧的es数据(400多G)迁...

2020-06-16 00:31:56 47 0

转载 elasticsearch 生产级别深度优化

这是一篇转自别人的文章,真的讲的很详细。已经读了很多遍,分享给大家。 贴上原文地址(原文将了很多内容,这是优化方面摘取出来的):https://www.cnblogs.com/kevingrace/p/10682264.html 这个优化文章主要包括五部分:系统方面包括集群的部署,以及服务...

2020-06-15 00:48:00 81 0

原创 Elasticsearch 集群规划之内存、磁盘、节点数、分片数的问题

这篇文章主要包括以下几个点展开,一个是内存分配的问题,一个是节点数的问题,一个是分片数量的问题,还有就是磁盘的问题。这是我目前遇到的一些最需要考虑的问题,我看了很多文章,进行一些摘录。 # # 集群规模和容量规划预估方法 容量规划——预估集群中每个节点的分片数、内存及存储资源。 吞吐量...

2020-06-12 01:09:14 88 0

原创 下载和安装 kibana

看这篇文章的前提:已经安装好了ES,并且能够成功启动。 熟悉linux的基本操作的命令,这篇文章里边没有vim这些命令,需要根据指示,自己操作。 如果上边两个都满足,则可以开始安装。 # #下载kibana 官网地址:https://www.elastic.co/cn/downloa...

2020-06-08 14:04:51 44 0

转载 elasticsearch 的不同角色的节点的 资源分配的问题

首先说一下我的疑问:就是对于ES集群,我们应该如何去配置不同的角色,另外,不同的角色是不是对系统资源的要求也不一样呢?如果我们对不同角色的节点都给了相同的配置,就一定会造成资源的浪费。于是看了很多的文章,去寻找答案。 另外,这篇文章最后也会分片给出了合理的建议。 # #先来看一下不同的...

2020-05-31 17:51:21 117 0

转载 ElasticSearch 一些配置参数

1.数据目录和日志目录,生产环境下应与软件分离 1 2 3 4 5 6 7 8 #注意:数据目录可以有多个,可以通过逗号分隔指定多个目录。一个索引数据只会放入一个目录中!! path.data:/pat...

2020-05-31 16:45:00 91 0

转载 ElasticSearch核心概念

这个是我看到的对一些概念介绍比较清楚。于是就剪切了下来。后边会持续加入自己的内容。由于别人的较多,所以就标位非原创了。 Near Realtime (NRT)近实时:数据提交索引后,立马就可以搜索到。注意是近实时,不是绝对的实时,比方说一秒以后可以被看到。 Cluster集群:一个集群由...

2020-05-31 16:38:38 47 0

原创 elasticsearch 的一次写入数据的过程

从官方文档上可以看到的是,官方推荐我们在搭ES集群的时候,留一半以上的内存给lucence,还说lucence是基于filesystemcash的。 我们可以从一次ES的写入数据的过程来看看为什么要这样做,以及里边的一些优化点。 # # ES的写入过程 我只用文字来描述一个大题上的流...

2020-05-31 00:25:28 101 0

转载 java 调用 python 的几种方式

最近做了一个东西,需要在java应用调用python的函数。查了网上若干资料,有很多种方法(直接用Jython,etc.),亲测两种最有效的方法在此分享一下。 1.使用Runtime.getRuntime()执行脚本文件 该方法可以运行含有python第三方库的程序 先建立python脚...

2020-05-20 16:55:50 79 0

原创 搜索引擎货比三家

这一段时间一直在学习ElasticSerach,分布式搜索引擎。 当然了,也要了解一下其它的搜索引擎,就是在学习使用一个东西的时候,不能因为用的人多就使用它,要知道它的优缺点。 # #对比ElasticSearch和 Solr 既然放在一块比较了,Solr做的事肯定是和ES都是干一个事...

2020-05-17 10:00:56 75 0

原创 Java High Level REST Client 操作ES 查询怎么写

主要参照官方文档(英文版):https://www.elastic.co/guide/en/elasticsearch/client/java-rest/7.6/java-rest-high-search.html 下边是我的学习,并进行翻译,我会对文档进行适当的修改,达到更容易理解的目的,案例...

2020-05-09 14:58:45 107 0

原创 几种 java 操作 ES 的方式 整理总结
原力计划

作为java后台开发来说,java程序操作ES是必然的。 这篇文章就来介绍一下几种 java 操作 ES 的方式 。 文中的案例我来不及敲了,但是我可以保证,我贴的案例,都是到目前为止,我所谷歌出来最好的案例。所以根据我这篇文章来学习,绝对可以让你省很多时间。因为我在学习的过程中,已经查阅了很...

2020-05-08 14:00:10 329 0

原创 ES 查询相关内容的总结

最近两天一直在学习ES的相关内容。 入门级别; 学习途径:主要是官方文档 这篇文章主要关注使用ES做查询 # #在我的理解看来,查询有不同的分类形式 第一种分类:基本查询和组合查询 第二种分类:打分查询和不打分查询 这个分类只代表我自己的理解。其实不管怎么分类就是查询,就看我们...

2020-05-08 09:48:32 120 0

原创 MongoDB 快速入门在linux下安装

前几天我自己装了一下,就是根据这个文档来的,很好安装,前提是对linux命令比较熟悉。如果不熟悉的话,跟着这个文档一步一步的做,也没问题。 Linux平台安装MongoDB MongoDB 提供了 linux 各发行版本 64 位的安装包,你可以在官网下载安装包。 下载地址:https:/...

2020-04-29 16:32:43 49 0

原创 MongoDB 与传统关系型数据库的比较

其实这一块如果之前接触过关系型数据库,就总增量的学习方法去学习记忆。如果没有接触过就直接学习MongoDB也是可以的。

2020-04-29 16:07:27 209 0

原创 MongoDB 的使用场景

工作中需要使用MongoDB,趁着有时间学习一下。 MongoDB区别于关系型数据库。适用于三高的场景,对海量数据比较友好,但是它也有自己的短板之处,那就是不支持事务。对于一些对事务有要求的场景,还是要使用关系型数据库。 # #来简单的看一些场景 # #什么时候选用Mongo...

2020-04-29 15:35:00 99 0

原创 谈谈JVM调优

因为自己的简历上写着熟悉JVM,于是每次都成了必问,并且问不像之前一样问内存模型了。一般都是会问,JDK8默认的垃圾回收器是什么?你都知道哪些垃圾回收器。有没有线上调优经验?线上出现了什么情况,你们进行调优? 这篇文章我不介绍内存模型,以及JVM基础的知识点了。就垃圾回收器,和线上JVM调优两...

2020-04-29 10:08:36 117 0

原创 MQ 各个优缺点

这段时间的面试总是被问到MQ为何选用某个某个MQ,这一块由于自己之前只是调用存放消息的接口,没有自己搭建MQ,所以了解很少。 一般简历上出现有MQ,这个问题基本上就是必问的:你们用的什么MQ,为什么选用这个? 一般来讲,作为基础的开发,这个是很少起关注,毕竟技术选型,是定好的,总不能天天问领...

2020-04-28 11:02:18 133 0

转载 RestFul API 统一格式返回 + 全局异常处理

RestFul API 统一格式返回 + 全局异常处理 真的很推荐这篇文章,省了不少事。规范了调用接口内容的问题。 另外全局异常处理是必不可少的。 在接口调用时,如果接口调用方法不正确导致异常或错误,服务器可以返回错误信息;在出现非致命的错误、异常时,服务器能够捕获异常、错误并返回提示用户...

2020-04-22 00:17:18 82 0

原创 springboot 内嵌的tomcat

springboot为我们内嵌了tomcat服务器。如果是做简单的程序的话,其实没有必要深入了解。 但是想要让它更好的为我们提供服务,或者说到了生产级别,就需要深入的了解它了。 # #存放默认配置的地方 # #内嵌tomcat的默认参数 这些参数合理的调优,就能一定程...

2020-04-19 23:27:15 76 0

原创 用生活的故事总结一下线程通信

线程之间通信,就像人与人之间通信一样重要。 我觉得理解一个问题,就要建立在我们已有的认知上,就会容易很多。 我将列举几个生活的例子,然后再对比的线程之间通信的例子。 # #线程通信就像是人和人通信 先用直白的话来讲,线程通信的目的,就和人之间的通信的目的一样。为了交换信息,为了通知...

2020-04-18 00:48:02 74 0

原创 shell 中去掉空格或者替换为其他符号

这个需求,是因为,在写告警脚本的时候,想要推送消息到钉钉上,但是空格之后的内容就会断掉,发不出去。所以我就想着去掉空格。 # #看我准备的文件 # #使用sed命令,去掉空格以及空行 注意 [ ] 这个中间有空格,不是这个[] sed -e 's/[ ] [ ]*/...

2020-04-13 22:50:17 86 0

原创 在java 的基础上增量学习 shell 编程

shell脚本其实还是我们比较常用的,在开发中经常会有需求,要写脚本实现某某功能。 比如,别人让写一个告警脚本,将消息推送到钉钉上。 这篇文章作为shell的入门吧。 java程序只能操作JVM虚拟机,虚拟机是在操作系统下的,而shell脚本直接操作的操作系统,就是命令行操作。 #...

2020-04-06 13:30:49 118 0

原创 Flume和Logstash 都可以做日志收集,那有什么区别呢

这个问题诞生于我和朋友的聊天,我问它最近在做什么,他说Flume,咱不懂呀,偷偷的百度了一下。短暂的看到也是做日志收集的,这让我瞬间想到了logstash,就是ELK组合中的一员。也是做日志收集的。那么问题就来了,这两个有什么区别呢?以及如果在有日志收集和分析需求的时候,用哪个呢? 于是就有了...

2020-04-04 20:52:04 191 0

原创 一年开发做过的错事,踩过的坑

/*免责声明:全部内容都属于是段友分享,我只是属于整理。**/ /*写在前边,个人觉得****弄一个积分下载,就是在自掘坟墓。表面上看起来是可以为个人赚积分,实际砍掉分享交流的一个途径。对我就是没有积分,我就是这么理直气壮。所以每次需要东西的时候,网上一艘,全都是积分下载,虽然有的只是1分,但是...

2020-04-03 15:46:40 7008 23

原创 spring 的相关的事务失效的问题总结

这一个问题,真的是很有意思。之前不了解的时候觉得会用就行了。但是真的不知道里边这么多坑。不过这些坑都真的很有意思。它推着你去了解底层。推着你看源码,了解实现原理。 也是因为我在最近的开发中遇到了一些问题,自己进行排查,然后谷歌了很多很多的文章。这篇文章算是一个总结吧。希望可以做到的是,关于事务...

2020-04-03 13:32:29 74 0

原创 以前文章总结一下事务的原理

今晚学习了网易微专业的公开课,讲的是事务的相关的问题。这里写一篇文章记录一下。 # #先看一下一个简单版的spring的事务原理全貌图 对于事务问题,之前都是一知半解。 之前别人一提到事务,我就想到了ACID。我知道开始事务的注解,知道想要使用注解的时候,就在service层类...

2020-04-03 00:03:52 62 0

原创 要读源码的思想觉悟变化

这篇文章,介绍自己接触源码的心理变化过程。 # #万里长征第一步,我要读源码,是为了提升逼格 一个没有实际开发经验的小白,竟然要读源码,说出去恐怕要被笑掉大牙了。 那是谁给我的勇气去读源码的呢? 为了提升逼格,经常刷别人的面经,别人都提到源码的问题。一开始为了跟风,就硬着头皮的看了看...

2020-03-30 12:40:39 118 0

提示
确定要删除当前文章?
取消 删除