自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4750)
  • 资源 (10)
  • 收藏
  • 关注

原创 【Elasticsearch】Elasticsearch 中为什么会有大量文档插入后变成 deleted?

转载:Elasticsearch相关:【Elasticsearch】Elasticsearch 7.4的 soft-deletes 是个什么鬼Elasticsearch 为什么会产生文档版本冲突?如何避免?

2024-06-16 00:45:00 42

转载 【Elasticsearch】搜索结果震荡问题解决、排查命令

搜索同一 query,结果ES返回的顺序却不尽相同,可能会有两个原因导致此问题发生:这就是请求轮询到不同分片,而未设置排序条件,相同相关性评分情况下,是按照所在 segment 中 ​lucene id 来排序的,相同数据的不同备份之间该 id 是不能保证一致的,故造成结果震荡问题。主节点 和 副本 数据没能及时同步,导致使用相同排序情况下排序结果会有略微的震荡_primary_replica_localcustom(自定义):注意自定义的 preference 参数不能以下划线 “_” 开头。

2024-06-16 00:15:00

转载 【Elasticsearch】如何查看 Elasticsearch 的 Debug 日志

当我们遇到问题或者需要深入了解 Elasticsearch 的运行机制时,调整日志等级( logging level )到更详细的级别,比如 DEBUG、TRACE ,会是一个有效且必须要掌握的方法。Elasticsearch 提供了如下的接口来支持动态变更 logging level,logger 后面是 package name 或者 class name。当然,你也可以去修改配置目录下面的 log4j2.properties,然后重启节点,但这种方法太过笨重,建议你不要用。

2024-06-15 00:30:00 6

转载 【Elasticsearch】Elasticsearch 搜索层面最全优化

所以在 es 里就存储必须用来搜索的数据,比如说你现在有一份数据,有100个字段,其实用来搜索的只有10个字段,建议是将10个字段的数据存入 es,剩下90个字段的数据,可以放 mysql,hadoop,hbase 等都可以。如果最佳的情况下,我们自己的生产环境实践经验,最好是用 es 就存少量的数据,就是你要用来搜索的那些索引,内存留给 filesystem cache 的就 100G,那么你就控制在 100gb 以内,相当于你的数据几乎全部走内存来搜索,性能非常之高,一般可以在10ms以内。

2024-06-15 00:15:00 9

原创 【zookeeper】zookeeper FileNotFound /data/zookeeper/version-2/acceptedEpoch.tmp

的权限为777就好了,实际上是改成zk启动需要用户的权限,不过我懒,直接777。

2024-06-15 00:00:00 4

原创 【Elasticsearch】ES内存分配规划、熔断器

它实际上是node level的一个统计值,统计的是这个结点上,各类查询聚合操作,需要申请的Bigarray的空间大小总和。,针对text字段,没有docValues属性(相当于列存储),当对text类型字段进行sort,agg时,需要将对应的字段内容全部加载到内存,这部分数据就放在fieldDataCache。通过上表可知,segment memory是非常重要,而且是不可通过参数干预的内存空间,而cache部分则可以提升性能,可以被清除。common space 是运行时的动态空间,可以被GC。

2024-06-14 00:45:00 884

转载 【Elasticsearch】Elasticsearch智能运维系统

在本篇文章中,我认为这种监控告警诊断方式是值得学习的。

2024-06-14 00:45:00 10

原创 【算法】完美洗牌问题、数组交叉序列(难)

给定一个长度为偶数的数组arr,长度记为2*N。前N个为左部分,后N个为右部分。arr就可以表示为请将数组调整成的样子。

2024-06-14 00:30:00 12

原创 【java】Commons Exec DefaultExecutor、 DefaultExecuteResultHandler、ExecuteWatchdog 类的用法

Commons Exec 中,ExecuteWatchdog 类实现了 TimeoutObserver 接口,而 TimeoutObserver 接口的实现类将被 Commons Exec 的看门狗(Watchdog)通知,这里采用了观察者模式。

2024-06-14 00:30:00 193

原创 【Linux】 RPM 包介绍

包名:操作已经安装的软件包时,使用包名。是搜索/var/lib/rpm/中的数据库。包全名:操作的包是没有安装的软件包时,使用包全名。10.查看文件属于哪个安装包。1.RPM包命名原则。

2024-06-12 21:50:09 18

原创 【工具】Virtualbox 报错 supR3HardenedWinReSpawn rThe process has more than onethread

在上一篇文章中,安装了系统,然后我今天想把这个导出来,然后放到内网windows系统上,但是导入后,启动成功报错这里设置的处理器是4个我本地的处理器个数是够得,但是不知道启动为啥报错同时发现核数是不能修改的。

2024-06-11 19:10:06 192

原创 【算法】拓扑贡献记录、求二叉树的搜索二叉树、最大拓扑结构

给定一棵二叉树的头节点head,,返回其中最大的且符合搜索二叉树条件的最大拓扑结构的大小。拓扑结构:不是子树,只要能连起来的结构都算。

2024-06-08 00:15:00 20

原创 【idea】idea提交代码时.gitignore过滤不生效问题

2、然后把idea关闭,重新打开,再提交代码.gitignore就生效了,如:提示没有修改的文件,过滤了。PS:若该操作未能实现忽略提交,是因为.gitignore只能忽略那些原来没有被track的文件,3.如果想要忽略提交的文件夹名称变成黄色了,就代表成功忽略该文件夹了!

2024-06-08 00:15:00 177

原创 【kafka】Found a corrupted index file corresponding to log file __consumer_offsets index

最近看一个kafka集群出问题了,然重启又如下日志具体如下这里想看看这是为什么。

2024-06-07 01:45:00 216

原创 【算法】加油站、距离、油量,如何跑一圈

N个加油站组成一个环形,给定两个长度都是N的非负数组dis[i]假设你有一辆油箱足够大的车,初始时车里没有油。如果车从第i个加油站出发,最终可以回到这个加油站,那么第i个加油站就算良好出发点,否则就不算。请返回长度为N的boolean型数组res,res[i]代表第 i个加油站是不是良好出发点。

2024-06-07 01:45:00 25

转载 【ElasticSearch】ElasticSearch千万级TPS写入性能翻倍技术剖析、长尾效应

这次写入性能优化,滴滴ES团队取得了突破性进展。写入性能提升后,我们用更少的SSD机器支撑了数据写入,支撑了数据冷热分离和大规格存储物理机的落地,在这过程中,我们下线了超过400台物理机,节省了每年千万左右的服务器成本。在整个优化过程中,我们深入分析ES写入各个环节的耗时情况,去探寻每个耗时环节的优化点,对ES写入细节有了更加深刻的认识。我们还在持续探寻更多的优化方式。而且我们的优化不仅在写入性能上。在查询的性能和稳定性,集群的元数据变更性能等等方面也都在不断探索。

2024-06-05 00:30:00 20

原创 【Elasitcsearch】Elasitcsearch索引优化

一些比较常用的针对索引级别的设置就介绍到这里,某些在ES6.x以上的版本已被弃用的参数将不再赘述。通过灵活地配置参数可将ES的性能发挥到更高的水平。

2024-06-04 01:15:00 803

原创 【java】文件上传的单元测试怎么写

后面也针对后端开发要不要学一下单元测试的话题聊了聊,个人是非常建议后端开发能够学一下单元测试的。所以,今天特地拿出来写一篇说说,并不是因为这有多难写,而是作为出色的后端开发人员,单元测试如果你能考虑周到,那么从代码结构,程序质量上都会有很大的提升。对于文件上传接口,本质上还是http请求的处理,所以MockMvc依然逃不掉,就是上传内容发生了改变,我们只需要去找一下文件上传的模拟对象是哪个,就可以轻松完成这个任务。言归正传,下面我们具体说说当碰到需要上传文件的接口,我们要如何写单元测试!

2024-06-04 01:00:00 330

转载 【java】java 什么是多线程环境下的伪共享

CPU的缓存是以缓存行(cache line)为单位进行缓存的,当多个线程修改相互独立的变量,而这些变量又处于同一个缓存行时就会影响彼此的性能。这就是伪共享CPU执行速度比内存速度快好几个数量级,为了提高执行效率,现代计算机模型演变出CPU、缓存(L1,L2,L3),内存的模型。CPU执行运算时,如先从L1缓存查询数据,找不到再去L2缓存找,依次类推,直到在内存获取到数据。为了避免频繁从内存获取数据,聪明的科学家设计出缓存行,缓存行大小为64字节。

2024-06-04 00:45:00 11

原创 【Elasticsearch】几点 Elasticsearch集群规划及性能优化

ES集群的健康状态分为三种,分别是Green、Yellow和Red。Green(绿色) :全部主 & 副本分片分配成功;Yellow(黄色) :至少有一个副本分片未分配成功;Red(红色) :至少有一个主分片未分配成功。其中需要重点关注的几个字段有 status、number_of_nodes、unassigned_shards 和 number_of_pending_tasks。

2024-06-04 00:45:00 565

转载 【MyBatis】MyBatis SQL是如何执行

ParameterHandler 相比于其他的组件就简单很多了,ParameterHandler 译为参数处理器,负责为 PreparedStatement 的 sql 语句参数动态赋值,这个接口很简单只有两个方法ParameterHandler 只有一个实现类 DefaultParameterHandler , 它实现了这两个方法。getParameterObject: 用于读取参数setParameters : 用于对 PreparedStatement 的参数赋值。

2024-06-04 00:30:00 14

原创 【算法】LFU缓存替换算法

我们来了一个数据A,然后我们把这个数据放到词频为1的桶里,这个值在桶中是双向链表的结构,我们记录双向链表的头部和尾部。如果此时我们又get了一下D,那么需要先把D从词频为5的桶里移除,因为词频为5的桶里面已经没有数据了,这个桶就可以废弃了,要断开这个桶的双向链接,然后我们把D放到词频为6的桶。比如现在用户get一下操作了,然后B的词频变成2了,然后我们就把原有的B在链表中断掉,然后生成一个词频为2的桶,然后桶与桶的关系也是双向链表进行连接。这样做有什么好处呢?这样的话,我们每次操作都是O(1)的复杂度。

2024-06-04 00:15:00 75

原创 【算法】字符串A的子串含有字符串B所有字符的最小长度

给定宇符串str1和str2,求str1的子串中含有str2所有宇符的最小子串长度因为"abc"包含 str2所有的宇符,并且在满足这一条件的str1的所有子串中,"abc"是最短的,返回3。最小包含子串不存在,返回0。

2024-06-03 00:45:00 209

原创 【swagger】swagger 怎么注解 对象类型的参数

如果请求参数为某个对象,还需要在swagger里显示出注释第一步:在对象的类上加注解@ApiModel,类的字段上加注解第二步:controller类里直接使用,json接收(如果是想表单提交,则用第三步(可选):如果不想展示某些字段在swagger上,需要在字段上加上注解。

2024-06-03 00:30:00 218

转载 【Yarn】YARN 聚合日志配置

MapReduce 是在各个机器上运行的, 在运行过程中产生的日志存在于各个机器上,为了能够统一查看各个机器的运行日志,将日志集中存放在 HDFS 上, 这个过程就是日志聚集。如果打开了日志聚合的选项,即,container的日志会拷贝到hdfs上去,并从机器中删除。

2024-06-02 17:14:35 17

转载 【Spring】Spring EnableAspectJAutoProxy 、@Aspect中通知顺序详解

今天内容还是挺多的,大家好好消化一下。主要要掌握@EnableAspectJAutoProxy中多个@Aspect、Advisor时,通知的执行顺序,这个多看看,要理解其原理,记起来才会更容易,用起来也会更顺手。如发现文章有错误、对内容有疑问,都可以在文章下面留言,或者加我微信(itsoku)交流,每周会挑选出一位热心小伙伴,送上一份精美的小礼品,快来关注我吧!12、案例源码本博客所有系列案例代码以后都会放到这个上面,大家watch一下,可以持续关注动态。

2024-06-02 17:14:02 15

原创 【MySQL】mysql status 详细解释

【代码】【MySQL】mysql status 详细解释。

2024-06-02 17:13:36 14

转载 【MySQL】MySQL使用explain分析SQL中filesort的理解

众所周知,内存的访问速度比硬盘速度快很多倍。如果排序过程在内存中进行,与在硬盘中排序相比肯定快很多。排序过程在内存中进行的排序叫做内部排序,同理,外部排序是指待排序的记录太多,无法一次性装入内存中排序,只能将记录存储在外部存储器上,将记录分成若干部分,对每一部分分别进行内部排序,最后将各个部分进行合并。多路归并排序是常见的外部排序算法。例如,要排序的记录有5G,而内存容量只有4G,显然不能将记录一次性读入内存中。

2024-06-02 17:12:44 16

转载 【MySQL】一条SQL语句执行得很慢的原因有哪些

以上是我的总结与理解,最后一个部分,我怕很多人不大懂数据库居然会选错索引,所以我详细解释了一下,下面我对以上做一个总结。一个 SQL 执行的很慢,我们要分两种情况讨论:1、大多数情况下很正常,偶尔很慢,则有如下原因(1)、数据库在刷新脏页,例如 redo log 写满了需要同步到磁盘。(2)、执行的时候,遇到锁,如表锁、行锁。2、这条 SQL 语句一直执行的很慢,则有如下原因。(1)、没有用上索引:例如该字段没有索引;由于对字段进行运算、函数操作导致无法用索引。(2)、数据库选错了索引。

2024-06-02 17:12:06 19

原创 【swagger】swagger报错 Could not resolve pointer: /definitions/String does not exist in document

把版本升级到2.9.2版本中同样的存在问题。(参数类型,可传基本类型、类、泛型类等)dataType :参数的数据类型。如果是int类型同理。

2024-06-02 17:11:18 13

转载 【redis】 Redis 实现延迟队列

转载:

2024-06-02 17:11:00 10

原创 【Spring】Spring与LDAP集成

官网:Spring LDAP - Reference Documentation官网:Spring LDAP - Reference Documentation官网:https://docs.spring.io/spring-ldap/docs/2.1.0.RELEASE/reference/#search-and-lookup-using-contextmapper

2024-06-02 17:10:09 9

转载 【Spring】spring aop聊点不一样的东西

好文章,请到原文阅读。很多文章讲spring aop的时候,一开始就整一堆概念,等我们看得差不多要晕的时候,才真正进入主题。。。我却相反,没错,先从实战出发。如果加了新doSomethingXXX方法,就需要在新方法前后手动加beforeLog和afterLog方法。原本相安无事的,但长此以往,总有会出现几个刺头青。刺头青A说:每加一个新方法,都需要加两行重复的代码,是不是很麻烦?刺头青B说:业务代码和公共代码是不是耦合在一起了?

2024-06-02 17:09:27 13

转载 【Spring】Spring 与 @Async注解 导致的循环依赖

转载如下 ,这两个人都是远程,谁抄写谁呢?哈哈前段时间,一个同事小姐姐跟我说她的项目起不来了,让我帮忙看一下,本着助人为乐的精神,这个忙肯定要去帮。看到BeanCurrentlyInCreationException这个异常,我的第一反应是出现了循环依赖的问题。但是仔细一想,Spring不是已经解决了循环依赖的问题么,怎么还报这个错。于是,我就询问小姐姐改了什么东西,她说在方法上加了@Async注解。

2024-06-02 17:08:52 9

原创 【kerberos】Kerberos 认证 Cannot contact KDC for realm initial credentials

后来集群维护的人员说 :现场的keytab好像是去年平台升级发生了变动,需要替换成新的keytab和principal。首先怀疑是本地没有配置对应的Host信息,第一次发现没有配置或者配置错误了,但是配置完毕后还是不对。后面把keb5.conf文件和keytab文件拷贝到我的机器,发现还是不可以。我有个环境,在进行kerberos认证的失败报错如下。然后再次执行,查看端口是否通畅,结果发现是通的。但是我在他们集群中发现是可以的,但是发现这个。

2024-06-02 08:27:45 119

转载 【zookeeper】基于Zookeeper 实现 RMI Server的HA

启动第一个两个server后,过一段时间,关掉正在使用的server,可以看到客户端正常使用,而且发生了切换。先启动两个server,然后启动一个客户端。上面注释中都是单个测试,后来集群测试一下。经过测试发现需要先在zk上创建路径。

2024-06-02 08:26:53 9

原创 【算法】打爆气球 求得分 (难)

我们尝试使用最后打爆的尝试模型,假设我们所有气球都最后打爆,现在有个函数f(L,R),潜台词。L-1位置上的气球一定没有爆炸R+1位置上的气球一定没有爆炸假设我们有数据如下,然后我们f(1,6),我们假设1位置的气球一定没有爆炸,6位置的气球一定没有爆炸。假设我们让1位置的气球最后爆炸,那么我们是不是可以调用f(2,6)?当然可以。因为我们这里的潜台词是1位置的气球一定没有爆炸,7位置的气球一定没有爆炸。此时我们是可以结算的。第二种选择。

2024-06-02 08:26:10 16

原创 【kerberos】kerberos 报错合集

Kerberos 票证标志备注KILE ** (Microsoft Kerberos 协议扩展) ** – Microsoft 操作系统中使用的 Kerberos 协议扩展。这些扩展为授权信息提供了额外的功能,包括组成员身份、交互式登录信息和完整性级别。结果代码 [Type = HexInt32]: TGT 问题操作的十六进制结果代码。“表 3. TGT/TGS 发出错误代码。包含此事件最常见的错误代码列表。

2024-06-01 00:45:00 187

原创 【算法】子数组异或和最大

给定一个整型数组 arr,其中可能有正、有负、有零,求其中子数组的最大异或和数组只有1个数,所以只有一个子数组,就是这个数组本身,最大异或和为3子数组有很多,但是{-28,-29}这个子数组的异或和为7,是所有子数组中最大的。

2024-06-01 00:15:00 17

原创 【算法】斜率优化、正数分裂、动态规划优化

给定一个正数n,求裂开的方法数。

2024-05-31 00:30:00 15

Eclipse Formatter 模板 Formatter.xml

Formatter模板设置好后,保存时可自动格式化代码。代码的空格处理,写的时候不用再担心格式问题。设置保存时,仅保存编辑的行,这样不会更新其他行的代码,提交代码时,也是只变更自己编辑的行。

2020-11-11

Drools-复杂事件处理

drools复杂事件处理,详细说明文档。一些语法的详细解析

2018-09-30

excel操作包

excel导入到数据库的工具包

2017-02-20

eclipse的hadoop插件

2016-09-14

hadoop学习文档

2016-09-14

hadoop单结点

hadoop单结点

2016-06-16

hadoop单结点配置

hadoop单结点配置,根据官网配置的实验

2016-06-16

native_32位

Hadoop配置需要的32位 native_32位

2016-06-16

s2sh整合配置,非常适合初学者,明白配置流程

非常适合初学者掌握ssh2整合的例子,献给初学者

2015-12-18

打飞机代码

一个打飞机游戏代码,全java写的,能实现打飞机的基本功能

2015-08-01

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除