- 博客(4706)
- 资源 (10)
- 收藏
- 关注
原创 【Zookeeper 】Zookeeper 常用命令介绍
功能:创建普通节点,如果创建节点中的内容中有空格需要用双引号包起来。- s:创建带编号的节点 - e:创建临时节点t ttl:生存时间data:节点的值acl:权限控制pZxid = 0x7 # 更新子节点zxidnumChildren = 2 #子节点数量更新为2#创建带编号的节点#创建临时节点#退出后重新查看#创建临时带编码节点#退出后重新查看顺序编号会紧跟在节点后面,节点最终名称为:节点名+序号,如app20000000001顺序编号是一个递增的计数器。
2024-05-23 00:45:00 18
原创 【算法】N个人坐船,求最少需要的船的个数
给定一个数组arr,长度为N且每个值都是正数,代表N个人的体重。再给定一个正数Iimit,代表一艘船的载重。返回如果同时让这N个人过河最少需要几条船。
2024-05-23 00:30:00 11
转载 【Clickhouse】离线部署安装介绍
clickhouse-local可以独立运行大部分SQL查询,不需要依赖任何ClickHouse的服务端程序,它可以理解成是ClickHouse服务的单机版微内核,是一个轻量级的应用程序。如果你创建了一张表,这张表的引擎是分布式的引擎,那么这个表所存储在那个集群里面的那个集群里面的机器,就是一个集群了。clickhouse 既是单独运行的,游离于集群之外,被包含在集群之类的表:分为单机的表和分布式的表。/etc/security/limits.d/clickhouse.conf:文件句柄数量的配置。
2024-05-23 00:30:00 15
原创 【Spring】Expected lookupPath in request attribute springframework UrlPathHelper PATH
或者降低版本,如使用2.5.4版本。
2024-05-22 00:30:00 113
原创 【算法】空间压缩技巧、两个字符串的最长公共子串
请注意区分子串和子序列的不同,给定两个字符串str1和str2,求两个字符串的最长公共子串。动态规划空间压缩的技巧讲解子串是必须连续的,子序列是可以不连续的。
2024-05-22 00:15:00 10
原创 【Linux】Linux 数据备份 dump和restore命令
目录,只能使用0级别进行完全备份,而不再支持增量备份。先执行一次完全备份,并压缩和更新备份时间。比较备份数据和实际数据的变化。增量备份/boot分区,并压缩。查询分区的备份时间及备份级别的。
2024-05-21 22:44:44 287 1
原创 【Linux】Linux日志服务
在CentOS 6.x中日志服务已经被rsyslogd取代了原先的syslogd服务。rsyslogd日志服务更加先进,功能更多。但是不论该服务的使用,还是日志文件的格式其实都是和syslogd服务相兼容的,所以学习起来基本和syslogd服务一致。rsyslogd的新特点确定服务启动常见日志作用除了系统默认的日志之外,采用RPM方式安装的系统服务也会默认把日志记录在/var/log/目录中(源码包安装的服务日志是在源码包指定目录中)。
2024-05-21 22:31:08 9
原创 【windows】linux如何修改虚拟机的UUID
注意这里是重启系统,会生成一个新的UUID,复制镜像的时候UUID是相同的这里必须让它不一样,否者两个虚拟机都不能使用。我们玩虚拟机的时候,有时候会复制镜像,复制完成后,如果忘记更改UUID,那么将导致虚拟机不可用,怎么修改呢?删除网卡和MAC地址绑定文件。只有复制镜像需要设置。
2024-05-21 22:05:53 9
原创 【算法】空间压缩技巧、两个字符串的最长公共子序列
请注意区分子串和子序列的不同,给定两个字符串str1和str2,求两个字符串的最长子序列。动态规划空间压缩的技巧讲解子串是必须连续的,子序列是可以不连续的。
2024-05-21 20:46:45 8
原创 【Flink】Flink消费kafka数据时不自动解压缩数据
在 Flink 中,Kafka 消费者的配置是通过 Flink Kafka Consumer 的属性进行的。具体来说,你可以在 Properties 中设置 Kafka 消费者的属性,以便在 Flink 作业中使用。如果你想在 Flink 消费 Kafka 数据时禁用自动解压缩,你可以通过配置 Kafka 消费者的参数来实现。在上面的示例中,关键是设置了 auto.decompress 属性为 false,这样就禁用了 Kafka 消费者的自动解压缩功能。确保你的处理逻辑能够正确处理数据的压缩格式。
2024-05-21 00:45:00 451
原创 【算法】字符串表达式计算、计算器、带括号、递归套路
给定一个字符串str,str表示一个公式,公式里可能有整数、加减乘除符号和左右括号,返回公式的计算结果。【举例】【说明】"4*(-3)”
2024-05-21 00:30:00 15
转载 【Spring】SpringBoot动态生成接口
最近遇到一个需求,需要在程序运行过程中,可以动态新增接口,自定义接口参数名称,基本类型,以及请求方法,请求头等等。通过几天的研究,找到了我需要的解决方案。对于这个需求,我首先要研究的是程序是怎么加载非等等注解下的接口,然后发现加载接口都需要被RequestMappingInfo处理,可以通过该类进行动态接口生成。
2024-05-18 10:22:35 51 3
原创 【算法】矩阵内的贪吃蛇,蛇最大长度、记忆化搜索
给定一个二维数组matrix, 每个单元都是一个整数,有正有负。最开始的时候小Q操纵一条长度为O的蛇,蛇从矩阵最左侧任选一个单元格进入地图,蛇每次只能够到达当前位置的右上相邻右侧相邻和右下相邻的单元格。蛇蛇到达一个单元格后,自身的长度会瞬间加上该单元格的数值,任何情况下长度为负则游戏结束。小Q是个天才,他拥有一个超能力,(注:最多只能改变一个节点)。问在小Q游戏过程中,他的蛇蛇最长长度可以到多少?最优路径为从最左侧的3开始,一>10。所以返回17。
2024-05-18 10:21:33 13
原创 【Docker】Docker如何将本地的flink程序打成镜像
我有一个flink程序如下,我希望把这个程序打包成docker镜像。程序内容很简单对应的pom引入如下然后我们本地可以运行这个程序是正常的,现在我们打包起来。
2024-05-17 08:57:01 313 3
原创 【算法】非负数组、铜板、a和b玩游戏、先手后手、尼姆博弈论
给定一个非负数组,每一个值代表该位置上有几个铜板。a和b玩游戏,a先手,b后手。轮到某个人的时候,只能在一个位置上拿任意数量的铜板,但是不能不拿。谁最先把铜板拿完谁赢。假设a和b都极度聪明,请返回获胜者的名字。
2024-05-16 23:15:00 13
转载 【kafka】Corrupt index found index file last offset less than the base offset
发现损坏的索引文件,在00000000000000254473.index中发现损坏的索引,索引的大小不是零,但是最后的offset是254473 , 不大于基偏移量254473,需要删除254473.timeindex和254473.index,从新构建索引。最后的offset是254473,基偏移量254473,最后的offset与基偏移量相等,二者相减等零才对,但相减索引的长度不是零,应该是零才对,所以判断索引就损坏了。结尾的文件,如果是log文件则直接恢复(去掉.swp, 变为.log);
2024-05-16 00:45:00 12
原创 【算法】可正可负、数组、子数组元素和为K,最长子数组长度
给定一个无序数组arr,其中元素可正、可负、可0,给定一个整数k。求arr所有的子数组中累加和小于或等于 k的最长子数组长度。,相加和小于或等于-2的最长子数组为,所以结果返回4.
2024-05-16 00:30:00 9
原创 【hadoop】为什么大数据NoSQL采用LSM树结构
近年来,像Cassandra这样的NoSQL数据库流行起来。一个驱动因素是从越来越多的来源(如移动应用程序和物联网设备) 获取大量数据的永无止境的需求。许多NoSQL数据库背后的秘诀是一种称为LSM树的数据结构。要了解LSM树的工作原理,我们首先看一下数据通常如何存储在关系数据库中。关系数据库通常由称为B+树的数据结构支持。B+树针对读取进行了优化。写入B+树相对代价更高,因为它涉及随机IO,并且可能包括更新磁盘上的多个Page。
2024-05-15 00:45:00 409 1
原创 【算法】正数数组、子数组元素和为K,最长子数组长度
给定一个数组 arr,该数组无序,但每个值均为正数,再给定一个正数ko求arr的所有子 数组中所有元素相加和为 k 的最长子数组长度。例如,累加和为 3的最长子数组为[1, 1, 1],所以结果返回3。要求:时间复杂度0(N),额外空间复杂度0(1)
2024-05-15 00:30:00 6
原创 【算法】返回NX3矩阵表示高楼、整体轮廓线数组(顶级难题)
给定一个NX3的矩阵matrix,对于每一个长度为 了的小数组 arr, 都表示一个大楼的三个数据。arr [0]表示大楼的左边界,arr[1]表示大楼的右边界,arr [2]表示大楼的高度(一定大于 0)。每座大楼的地基都在 X 轴上,大楼之间可能会有重叠,请返回整体的轮廓线数组。【举例】
2024-05-15 00:15:00 8
转载 【分布式】集群资源调度系统设计架构总结、系统性的梳理
无论是在单机系统还是分布式系统当中,调度器其实都是非常核心和普遍的组件,其内涵也比较宽广和模糊。早期计算机系统当中的批处理调度系统现代计算机系统当中的抢占式进程调度系统和内存分配系统某些系统或程序提供或实现的,定时激发某些类型操作的工具(如 crontab、Quartz 等)某些编程语言的 Runtime 提供的线程/纤程/协程调度器(如 Golang 内置的 Goroutine 调度器)分布式系统当中的任务关系管理和调度执行系统,(如 Hadoop YARN, Airflow 等)
2024-05-14 18:08:14 12
原创 【siddhi】siddhi 任务编排流程图
地址信息:https://www.processon.com/view/link/5e718d56e4b027d999b75b29
2024-05-14 18:07:45 6
原创 【算法】求两个数组中最大的k个数字、使用最少排序
其中:A是长度为m、元素从小到大排好序的有序数组。B是长度为n、元素从小。到大排好序的有序数组。希望从A和B数组中,找出最大的k个数字,要求:使用。给定两个一维int数组A和B.
2024-05-13 00:15:00 14
原创 【算法】数字不重叠非空区域、每个区间内数字的XOR都为0
给出n个数字 日1,…,an,问最多有多少不重叠的非空区间,使得每个区间内数字的xor都等于0。
2024-05-12 00:45:00 16
原创 【yarn】Yarn 报错 Application submission is not finished, submitted application still in NEW_SAVING
今天突然发现我一个环境突然无法提交flink任务了,在flink/log目录下的日志一直打印当时查看我们的web日志发现有个日志是一直处于等待杀死的状态而且查看Yarn界面,发现有个任务一直处于NEW_SAVING状态,而且点击进去,点击kill 发现无法杀死(这里原本有的,我重启了就没有了,当时没有截图)而且查看队列信息都没有了,这一块好像重启yarn之前是没有的。而且yarn后台也看不到任务重启yarn后也是无法提交任务,但是报错原因变了后来重启了HDFS,然后再次重启Yarn就好了。
2024-05-12 00:45:00 40 1
原创 【Spring】Spring boot 方法中异步执行耗时操作
我有个需求,我前端调用一个接口,然后A调用B,然后B执行C,C代表的是一个复杂的计算,然后我想的是把这个放到异步里面执行,运行的时候,B执行C是瞬间的,然后会执行E,E执行的也很快,执行完毕后,直接返回给前端了,然后D在后端默默执行D的执行实现,我开始用CompletableFuture包裹,然后发现如果E执行完毕后,返回 D还没执行完的话,会直接结束,我想让他继续执行。
2024-05-11 00:30:00 27
原创 【kafka】Received exception when fetching the next record seek past the record continue consumption
一个环境,kafka正常,名称叫topic_lcc,然后这个topic在三个地方使用然后这个消费组报错信息如下对应的代码如下xxx后来无论是创建单个分区的topic、还是共用一个消费组,都不能复现这个问题。
2024-05-10 00:30:00 721 2
原创 【算法】字符串删除字符后字典序最小
给定一个全是小写字母的字符串str,删除多余字符,使得每种字符只保留一个,并让最终结果字符串的字典序最小。【举例】str=“acbc”,删掉第一个’c’,得到"aba",是所有结果字符串中字典序最小的。str="‘dbcacbca " ,删掉第一个6、第一个‘c’、第二个’c’、第二个’a’,得到"daba’,是所有结 果字符串中字典序最小的。
2024-05-10 00:15:00 13
原创 【kafka】Kafka Consumer Error Stream frame descriptor corrupted
我们今天遇到一个问题,同一个topic名称叫topic_lcc,这个topic同时被Flink消费和web客户端消费,但是flink消费没有报错(也可能设置忽略报错了),web端消费报错,错误信息如下2.源码分析在最前的的readHeader中报错默认有这四种报错我们可以运行已有的测试类根据以前的测试类:【kafka】kafka NoSuchElementException ArrayDeque getLast 压缩方式不同kafka 生产者和服务器才能压缩kafka生产者压缩是把压缩方式写在头
2024-05-09 23:15:00 292 4
原创 【算法】算法计较-舍弃可能性、相邻两数最大差值
给定一个数组,求如果排序之后,相邻两数的最大差值。要求时问复杂度0(N),且要求不能用非基于比较的排序。
2024-05-09 23:00:00 13
原创 【算法】数组中未出现的数字
给定一个整数数组A,长度为n,有,且对于[1,n]的整数,其中部分整数会重复出现而部分不会出现。实现算法找到[1,n]中所有未出现在A中的整数。(返回值不计入空间复杂度)输入描述:一行数字,全部为整数,空格分隔输出描述:一行数宇,全部为整数,空格分隔。
2024-05-07 22:00:00 20
原创 【算法】字符串组成表达式结果为false
给定一个只由五种字符组成的字符串express,再给定一个布尔值desired。返回express能有多少种组合方式,可以达到desired的结果。【举例】只有的组合可以得到false,返回 2。无组合则可以得到false,返回0。
2024-05-05 14:00:00 17
原创 【Spring】Coorect the classpath contains comptible versions ListtenerContainer MoreExecutors
因为需要我们需要从kafka服务器0.10.1版本的客户端0.10.1版本升级到客户端版本2.8.2版本。说实话想不通上级的上级脑子咋想的,服务器的kafka版本一直不升级,使劲升级客户端,从0.10.1到2.3版本,然后到2.8.2版本。,需要自己找一个匹配的就好了。本次升级后,运行报错如下。
2024-05-05 09:48:18 17
原创 【算法】主播参加活动、图计算、动态规划
CC直播的运营部门组织了很多运营活动,每个活动需要花费一定的时间参与,主播每参加完一个活动即可得到一定的奖动,参与活动可以从任意活动开始,但一旦开始,就需要将后续活动参加完毕(注意:最后一个活动必须参与),活动之间存在一定的依赖关系(不存在环的情况),现在给出所有的活动时问与依赖关系,以及给出有限的时间,请帮主播计算在有限的时候内,能获得的最大奖励,以及需要的最少时长。
2024-05-03 00:30:00 22
原创 【算法】求完全二叉树的节点个数、不使用遍历
求完全二叉树的节点个数,如果不允许你使用前序遍历,后续遍历,中序遍历,有没有那种方法可以求个数?求完全二叉树的节点个数。
2024-05-02 00:45:00 4
原创 【算法】数字使用中文读取
把一个数字用中文表示出来。数字范围为[0,999997]为了方便输出,使用宇母替换相应的中文,万W 千Q 百B十S零。使用数宇取代中文数字输出描述这一点全用中文吧。
2024-05-02 00:30:00 20
原创 【Elsatic】XContentElasticsearchExtension could not be instantiated 、XContentBuilder 找不到
可以看到有多个实现类。但是我仍然没有思路,然后后来我发现我的报错位置是构建SearchRequest的时候就报错了,打印的时候能看出来。本次排查问题有个误导我很久的,我们的很多地方都用到了es查询,但是其他地方都没有报错,但是这里报错了。这个是查询es数据的原始数据,未分词的数据,是不是这个原因呢?然后我对比上面那个图,突然代码中有如下。报错这个类,找不到,然后我加入依赖。找不到原因,后来一直追溯代码。我注释掉试试,注释掉果然报错了。看起来报错位置应该在。.然后我看看这个方法。
2024-05-01 02:15:00 65 1
Eclipse Formatter 模板 Formatter.xml
2020-11-11
eclipse的hadoop插件
2016-09-14
hadoop学习文档
2016-09-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人