- 博客(5206)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 【Flink】Flink如何开始state性能监控
Flink 1.13 State 访问的性能监控，即latency trackig state。此功能不局限于 State Backend 的类型，自定义实现的 State Backend 也可以复用此功能。正常开启第一个参数即可。
2025-04-19 22:14:37
7
原创 【Flink】Flink合理使用CPU资源、CPU资源怎么设置
那么按照我们现在的情况，我们一个taskmanager有2个槽位，那么应该是需要2个vcore。其实这是调度器引起的问题，我们要么使用容量调度器，要么使用公平调度器，如果你使用的是公平调度器那么应该不会遇到这个问题。然后现在就变成了4和10了，现在我们算一算这个怎么来的，3个TaskManager，每个占用3个，那么就是9个，然后JobManager是一个。我并行度是5，那么最少占用5个槽位才能跑，一个taskmanager是2个槽位，那么最少要启动3个taskmanager才能满足我们的需求。
2025-04-12 09:32:10
24
原创 【Flink】Flink TaskManager 内存如何计算、TaskManager每个部分的内存怎么计算
距离上一次搞内存已经很久了，今天打算再次学一下。Flink 1.10对 Task Manager 内存模型做了较大改动Flink使用了堆上内存和堆外内存框架堆外内存、Task堆外内存、网络缓冲内存，都在堆外的直接内存里Flink使用内存=框架堆内和堆外内存+Task堆内和堆外内存 ＋网络缓冲内存＋管理内存逃程内存=Flink内存+JVM特有内存首先要知道一点就是FLink是既能使用堆内存、又能使用堆外内存的。
2025-04-06 13:18:29
336
原创 【Flink】Flink Key State 和 Operator State 区别
在Flink 当中有两种基本类型的State : Keyed State 和 Operator State。Keyed State：顾名思义就是基于 KeyedStream 上的状态，这个状态是跟特定的key 鄉定的，对 KeyedStream 流上的每一个key，都对应一个 state。如下图所示：假如输入流按照 id 为key 进行 keyBy 分组，形成一个 KeyedStream，数据流中所有id 为1的数据共享一个状态，可以访问和更新这个状态。以此类推，每个key 对应一个自己的状态。
2025-04-06 13:18:09
21
原创 【Flink】Flink 1.17 可查询状态 Queryable State
今天有空来学习一下，可查询状态 Queryable State。在flink 当中．state 分为两种类型，keyed state 和 operator state。keyed state 是与特定的key 绑定的state。对keyedStream 流上的每一个key， 都对应一个 state;operator state 是与算子绑定的 state，整个operator 算子只对应一个 state。
2025-04-03 00:30:00
37
原创 【kafka】Kafka修改topic的日志保留时间
message.timestamp.difference.max.ms=9223372036854775807： 定义了消息时间戳之间的最大差异，这里是没有限制。min.compaction.lag.ms=0： 定义了触发日志紧凑（compaction）的最小延迟时间，这里是0毫秒。segment.index.bytes=10485760： 定义了每个日志段的索引文件的大小，这里是10 MB。file.delete.delay.ms=60000： 定义了删除文件的延迟时间，这里是60秒。
2025-04-03 00:15:00
149
原创 【Flink】Flink执行savepointPath超时
其中， 是作业的 JobID，可以在 Flink 的 Web UI 或者日志中找到， 是 Savepoint 保存的目录。当执行 Flink 的 stop 命令并指定 --savepointPath 参数时，如果操作超时，可能是由于不同原因导致的。8.检查 Flink 的日志，特别是 JobManager 和 TaskManager 的日志，以查看是否有任何与 Savepoint 相关的错误或警告消息。有时，不同版本之间的兼容性问题可能导致异常。
2025-04-02 00:30:00
37
原创 【Flink】Flink on k8s Exception occurred while acquiring lock ‘ConfigMapLock‘
flink on k8s吗，我在kubernetes application模式下运行，运行一段时间后就会出现这个报错，然后jobmanager就重启了。2、确保你的操作是基于最新版本的 ConfigMap 进行的，可以使用 kubectl get configmap 命令查看当前版本。这是一个 Kubernetes 的错误消息，意思是在进行 ConfigMap 操作时发生了锁定问题和版本冲突。4、对于持久性锁定问题，可以通过更新或重新部署相关的应用程序来解决。
2025-04-02 00:15:00
136
原创 【IDEA】IDEA总是自动切换有错误的pom文件
是这样的，我们环境最近使用jdk 17,然后下载了最新的IDEA 2023.03月份的，但是这个用的时候发现我正在修改其他pom文件的时候，总是时不时打断我，自动切换到父的pom文件，关键是这个pom文件其实没有什么报错，但是每次切换过去的时候，
2025-03-28 00:30:00
150
1
原创 【IDEA】IDEA修改Target bytecode version、maven重新加载后Target bytecode version总是变回1.8
我们环境最近在从jdk 17 升级到jdk17，但是maven重新加载后Target bytecode version总是变回17。那么IDEA修改Target bytecode version？让他保持一致呢？在Maven中，可以通过配置pom.xml文件来指定目标字节码版本。首先，打开项目的pom.xml文件。然后，在元素下添加如下内容：
2025-03-28 00:15:00
63
原创 【Maven】IDEA target目录 surefire/surefirebooter400xxx.jar 无法删除问题
在 Maven 项目中，surefirebooter 是 Maven Surefire 插件用于运行单元测试的引导器。生成的 surefirebooter JAR 文件包含了运行测试所需的类和资源，以及与 Surefire 插件相关的代码和配置。surefirebooter JAR 文件通常位于项目的 target 目录下的 surefire 子目录中。IDEA target目录下编译的时候生成一个文件surefire/surefirebooter400xxx.jar 这个文件有什么作用？
2025-03-26 00:30:00
49
原创 【Maven】Fatal error compiling: 无效的目标发行版: 11 解决方案
至此发现错误原因，原来执行java -version默认使用系统环境变量JAVA_HOME，而maven优先使用了windows的用户变量JAVA_HOME（这里之前忘记修改，仍然指向java8路径），修改用户变量JAVA_HOME指向java11或删除该用户变量JAVA_HOME（如无它用）后即可。我的pom文件设置如下。
2025-03-26 00:15:00
128
原创 【Idea】Idea如何修改Debug运行的默认JDK版本、如何修改Debug模板
但是有没有思考，我们项目都改成jdk 17了。这里为什么还是jdk 1.8呢？这是因为debug模板的问题。在上一篇文章中，我们最后找到原因是Debug的时候设置的JDK问题。我们改成如下模板就好了，下次就不是默认的jdk 8了。最后我们改成如下才解决。
2025-03-23 00:30:00
153
原创 【maven】windows安装两套jdk、idea运行报错 Runtime only recognizes class file versions up to 52.0
我们环境现在处于升级阶段，我们既要运行老的jdk 17版本，也要使用老的jdk1.8版本，为此我特意在本地安装了2套jdk环境，而且安装了2个IDEA，然后一套使用jdk 1.8 ，一套使用jdk 17,但是运行报错。我的jdk 1.7 环境装机如下，jdk 17 装机的时候使用的是msi包，好像不需要设置环境变量。这次我是解决后复现这个问题，再次查看版本信息以前全是jdk 17，现在javap的环境变了，奇怪。如果大家遇到同样的问题，那么Jdk的设置可以按照我的去设置能减少很大的问题。
2025-03-23 00:15:00
59
原创 【Kafka】java消费kafka报错UnsatisfiedLinkError、tmp/snappy-1.1.7、libsnappyjava.so
解决这个问题的一种方法是确保你的系统上有符合要求的libstdc++.so.6版本。你可以使用系统包管理工具来安装它，具体的命令可能因你使用的Linux发行版而异。在Linux系统中，libstdc++.so.6是C++标准库的共享对象文件，而GLIBCXX_3.4.21是其特定版本。这可能是由于库的版本不匹配导致的问题。另外，你也可以考虑使用更新版本的snappy-java库，因为新版本可能解决了这种依赖关系问题。确保你使用的snappy-java版本与你的应用和系统兼容。现在升级到最新版本试试。
2025-03-22 00:30:00
39
原创 【Flink】Flink不消费数据、偶然消费数据、消费组信息查不到
一个环境flink读取kafka不消费数据或者偶然消费数据、消费组信息查不到。在数据源节点查看节点每秒消费速率为0，意味着没有消费数据查看topic内部topic都正常，下图为部分查看我们消费的目标topic也是正常的查看消费组信息最后一行为nuknow，这是我们自定义的，意思是查不到查看日志发现无报错信息给这个流新换一个消费组，因为不消费所以没有初始化消费组信息，我们也查不到但是后来不知道什么原因，偶然能消费数据了。
2025-03-22 00:15:00
50
原创 【Flink】Flink SocketClientSink 这个怎么使用？怎么本地测试
请注意，在生产环境中，你需要确保目标 Socket 服务器能够接收并处理来自 SocketClientSink 的数据，并根据需要进行相关的配置和验证。SocketClientSink 是 Flink 的一个输出连接器（sink），可以将数据发送到一个指定的 Socket 地址和端口。你将看到数据被发送到指定的 Socket 地址和端口，并在 Socket 服务器上接收到这些数据。在上面的示例中，我们创建了一个简单的数据流，并将数据发送到指定的 Socket 地址和端口。
2025-03-15 01:15:00
381
原创 【Flink】Flink读取kafka入库Elastic没有新的数据，无报错信息
但是现场不知道哪个傻叉，配置了一个最简单的规则，然后导致所有的数据都产生告警了，然后当所有数据都是告警，然后这个流我们配置的消费能力不高，然后每秒产生了几十万的告警，那么查询的时候就发现时间一直没有变化，因为一秒内的数据都要好久才能消费完。这个延迟达到了几十亿，卧槽，最终破案了，原来我们这个是读取日志，然后分析日志，产生告警然后写入到Es,一般情况下，这个消费的数据多，然后生成的数据少，所以我们没有怀疑是延迟问题。因为我们已经是12月14日了，但是今天来查数据的时候，发现最新的数据还是16：48。
2025-03-15 01:15:00
52
转载 【kafka】kafka 存储 - 日志索引
OffsetIndex 继承 AbstractIndex，它使用了内存映射 MappedByteBuffer 读取索引文件。// 每条记录的大小@volatiletry {//如果文件是新建的，则分配空间。空间大小为，最接近maxIndexSize的entrySize的倍数// 获取file的大小。注意文件大小每次初始化为maxIndexSize，但是当文件关闭时，// 会截断掉多余的数据，所以文件的大小不是一样的// 实例MappedByteBufferelse。
2025-03-14 00:30:00
222
原创 【Kafka】Kafka暴力清理日志有什么坏处、如何正确清理日志
我们先启动一个kafka然后控制台生成和消费数据然后在写个代码的生产和消费然后测试类如下并且都运行起来，然后我们生产一些数据然后我们可以看到都能正常的消费然后我们暴力删除数据这个命令执行后，我们的代码消费立即停止了然后我们的生产者都是好的然后我们不该消费组的情况下是直接报错的改了消费组，一样的报错但是控制台是可以正常消费的，控制台也是每次一个新的消费组呀。
2025-03-14 00:15:00
243
原创 【Kafka】Flink 消费 kafka 部分分区不消费数据
flink 消费kafka,之前任务正常的，突然有个分区没法消费了，重启下任务久正常了。
2025-03-11 00:30:00
282
原创 【Flink】Failed to rollback to checkpoint/savepoint Max parallelism mismatch between checkpoint
这个的含义是：回滚到检查点/保存点的元数据失败。检查点/保存点状态与新程序之间的最大并行度不匹配。无法将最大并行度为32768的运算符58212cb79e8186067bdc9ae3681ec630映射到最大并行度为1的新程序。这表明在检查点之后以不兼容的方式更改了程序。最后问题发现：代码变更太多 不能读历史的保存点启动了。
2025-03-11 00:15:00
155
原创 【Kafka】kafka启动卡死 Loading producer state till offset Loaded index file
排查问题的时候，我们要做删除topic，然后重启kafka，但是发现其他节点都重启的很快，但是有台机器启动很慢，而且日志卡着了。卡的很久，都不见新的日志，但是前面是没有报错的。这个一看就是在加载索引文件，但是我们最后整整等了20分钟才加载好，但是其他机器很快，这个不清楚是为什么差距这么大。如果日志段文件损坏，可能导致加载失败。然后我们打开这个server节点的debug日志，然后可以看到日志中一直打印DEBUG日志。发现这个日志里面有600多G的数据，然后查看其他启动快的机器，发现只有300G左右。
2025-03-10 04:00:00
50
原创 【Flink】Flink 消费kafka 运行一段时间后卡死
我们有个现场，然后最近总是无缘无故不消费数据，看起来像是卡死了一样，但是日志里面有找不到报错，关键是刚刚启动任务是能消费的数据的，比如消费一段时间后，10分钟差不多的样子（大概消费了几十万数据），就开始无法消费数据了，我们修改消费组后，可以再次消费一段时间。后面经了解，由于kafka磁盘目录存储已满，故对kafka日志进行了清理，清理时使用命令对日志进行了清空操作。经我方研发运维测试发现，”echo”命令直接清理日志会导致任务启动失败。
2025-03-10 03:45:00
169
原创 【Nginx】nginx: [emerg] zero size shared memory zone “one“
今天一个环境的nginx按理说没人修改配置的，但是他这个环境开始nginx运行中，我想重启一下，然后重启报错。下面是排查的过程，本次主要是如何排查的思路。然后我又试试这样提示nginx: [emerg] zero size shared memory zone “one”，名称为one大小的共享内存空间zene没有。这里首先提示我们这个文件做校验，校验失败。然后我们来看看这个配置文件可以看到有如下信息最后的配置文件如下。
2025-03-08 00:30:00
111
原创 【Maven】Maven报错Module xxx production: sbt.internal.inc.CompileFailed
一个简单的环境，以前还能运行，然后今天添加一点java代码突然不能运行了，很奇怪。后来新建了一个moudle，然后把这个删除新的就好了。看配置好像没有什么问题。
2025-03-08 00:15:00
62
原创 【Prometheus】Prometheus的PromQL语法介绍
Prometheus Query Language（PromQL）是用于查询和分析Prometheus监控数据的查询语言。它是Prometheus系统的一部分，被设计用于从时间序列数据库中提取和处理指标数据。
2025-03-07 00:30:00
35
原创 【Kubernetes】KubeSphere 日志系统
KubeSphere 为日志收集、查询和管理提供了一个强大的、全面的、易于使用的日志系统。它涵盖了不同层级的日志，包括租户、基础设施资源和应用。用户可以从项目、工作负载、容器组和关键字等不同维度对日志进行搜索。这些组件设计成了可插拔式，您可以在安装之前或之后启用它们。与Kibana 相比，KubeSphere 基于租户的日志系统中，每个租户只能查看自己的日志，从而可以在租户之问提供更好的隔离性和安全性。除了 Kubesphere 白身的日志系统，该容器平。不同的可插拔组件部署在不同的命名空问中。
2025-03-07 00:15:00
165
原创 【Kubernetes】服务网格Service Mesh istio 初步涉猎
服务网格是用于处理服务间通信的专用基础设施层，它负责通过包含现代云原生应用程序的复杂服务拓扑来可靠地传递请求。实际上，服务网格通常通过一组轻量级网络代理来实现，这些代理与应用程序代码一起部署，而不需要感知应用程序本身。
2025-03-01 00:30:00
98
原创 【Kubernetes】Kubernetes helm 简介
Helm是Kuberetes的包管理器。类似于Ubuntu的arit-get, Centos的yum，用于管理Charts。Helm Chart是用来封装Kubernetes应用程序的一系列YAML文件在上下载二进制文件。
2025-03-01 00:15:00
118
原创 【Kubernetes】KubeSphere 应用调度、调度指定机器、指定名称
目的本课程通过定向调度策略将应用部署在指定的宿主机上。场景在实际环境中，不同的服务会对资源有不同的要求，根据实际需求，我们需要将这些应用部署到特定的服务器，从而提升服务性能和服务器资源使用率。
2025-02-28 01:30:00
329
原创 【Kubernetes】KubeSphere master节点启动、停止 与 worker节点的启动与停止
在实际工作中，可能某个 Worker 节点需要维护、迁移，我们需要平滑的停止、启动该节点，尽量减少启停中对集群、业务造成的影响。本章节通过演示停止、启动 Master 节点的过程，说明 Master 节点启停过程和注意事项，便于日常节点维护或资源回收。在实际工作中，可能某个 Master 节点需要维护、迁移，我们需要平滑的停止、启动该节点，尽量减少启停中对集群造成的影响。摘除 Worker 节点操作中，该Worker 节点上的工作负载将被驱逐到其他节点上，请确保集群资源充定。到节点上启动相关的服务。
2025-02-28 01:15:00
157
原创 【Kubernetes】Kubernetes 集群证书管理
可以看到证书过期还有364天，如果证书过期了，我们该怎么处理呢？集群证书默认位置，我们只需要把证书放到这个位置就好了。
2025-02-26 00:30:00
217
原创 【Kubernetes】kubekey 增删改查集群节点
比如原先我们有2个节点，现在我们要新增一个节点，那么只需要在配置文件中添加一行就好了。可以看到新的节点就出来了。
2025-02-26 00:15:00
345
原创 【Kubernetes】kubekey 集群配置文件详解
上节课我们根据kubekey创建了2种集群，我们是修改了配置文件的。本章主要讲解这个配置文件。下面这个是负载均衡配置的两种模式，具体可以参考domain就是域名，这个要写到/etc/hosts文件中的。然后下面就是k8s版本配置，以及网络配置，这里我们使用calico就可以了下面是镜像的私有配置这个命令其实可以一键把KubeSphere也部署起来的，使用如下命令会生成k8s和KubeSphere的配置文件这是配置的一小部分截图在中有更加详细的配置。
2025-02-23 15:31:49
130
原创 【Kubernetes】Kubernetes 高可用集群部署的2种方式
单机和多机部署模式Kubernetes 高可用集群部署有2种方式我们知道k8s集群可以部署在物理机、虚拟机、云环境，下图是k8s的基本架构图这里包含控制平面就是master节点，然后worker节点，以及Etcd。在Control Plane需要部署是哪个基本服务，然后在Worker节点也要部署一些基本服务。除此之外，我们可能需要部署一些外部服务，比如LoadBalancer可以给我们提供负载均衡的能力。
2025-02-23 15:31:31
49
原创 【Kubernetes】KubeSphere 部署 Mongodb
因为Mongodb 是与状态服务，所以他是有存储卷的。本次我们使用新的部署方式。可以关掉账号密码的访问。可以看到相关的访问信息。然后我们就能远程连接了。
2025-02-22 10:06:19
43
原创 【Kubernetes】KubeSphere 部署 sentinel
这个镜像docker hub上面可能没有，因此我们可以自己推上去。后面什么都不要选，直接下一步，下一步就好了。我们可以创建一个服务验证一下。
2025-02-22 10:05:56
38
原创 【Kubernetes】使用KubeSphere进行尚医通项目上云
首先我们看一下我们的微服务，里面有我们的nacos配置，需要都改一下，改成线上的。
2025-02-21 00:30:00
147
Eclipse Formatter 模板 Formatter.xml
2020-11-11
eclipse的hadoop插件
2016-09-14
hadoop学习文档
2016-09-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人