未解决的专栏合集
九师兄
可免费问问题,可以一次订阅,终身免费问问题。工作多年遇到的问题,与一些总结,注意事项等,有些是源码级别的讲解,同时整个博客是成体系的,里面有很多连接互相连接,问题都是拆开的,能让大家遇到问题的时候方便的解决问题,或者提供思路。也可以单独找我解决问题。
展开
-
【Flink】Flink提交到yarn上taskmanager的指标没有数据
遇到一个问题flink1.17.2提交任务到yarn上,taskmanager的metrics没有数据。jobmanager是正常的。原创 2024-03-18 16:04:42 · 349 阅读 · 0 评论 -
【未解决】IDEA:AbstractMethodError: Receiver class org.jetbrains.plugins.scala ScTraitImpl not
是这样的,偶然运行了一个程序,然后发现IDE下面有个红点点,点开看了一下,发现报错入戏。原创 2019-12-26 23:16:17 · 2246 阅读 · 1 评论 -
【zookeeper】zookeeper 总是重启 poolSendQueue InterruptedException
一个环境zookeeper总是无故停止,然后我去手动拉起后过一段时间就会挂掉了。今天终于忍不住去看看为什么总是挂在,日志里里面看到有如下报错。还没找到相关解决方案。原创 2023-09-02 09:53:42 · 196 阅读 · 0 评论 -
【Flink】error while closing Kafka consumer NullPointerException InterruptedException
1.背景一个测试环境,这个环境的资源不足,很卡。docker外查看下root@node1 ~]# free -g total used free shared buff/cache availableMem: 250 199 3 3 47 44Swap: 0 0 .原创 2020-12-02 21:59:38 · 1230 阅读 · 0 评论 -
【clickhouse】未解决 ClickHouse exception, code: 1002 DB::Exception: Directory already exists
进入ClickHouse的数据存储目录/var/lib/clickhouse/data/quant/trade_record/,查看是否有名为tmp_merge_2012_210_215_1的目录。如果仍然无法解决问题,建议备份数据后,卸载并重新安装ClickHouse,然后将备份数据恢复到新安装的ClickHouse中。首先,确认是否有其他进程正在使用ClickHouse,如果有,请等待其他操作完成后再尝试。如果无法删除该目录,可以尝试重启ClickHouse服务,然后再次尝试删除该目录。原创 2021-12-15 23:30:22 · 10561 阅读 · 0 评论 -
Kafka : KafkaProducer Closing the kafka producer with timeoutMillis
检查Kafka集群状态:验证Kafka集群的健康状态,确保没有任何故障或资源耗尽的情况。联系支持:如果以上步骤都没有解决问题,可以联系Kafka的技术支持或在Kafka社区寻求帮助,他们可能能够提供更具体的解决方案。但是,我们是采用Ip直接访问的,应该也不是这个错误,并且telnet zk和kafka的地址端口,都是通畅的。更新Kafka版本:如果您正在使用较旧的Kafka版本,考虑升级到最新版本,以便获得更好的稳定性和性能。kafka 多线程发送数据,然后在本地是可以的,在服务器上是偶现的。原创 2020-07-03 20:53:37 · 7470 阅读 · 0 评论 -
【未解决】Flink : Error notifying leader istener about new leader && The RPC connection is already closed
这个报错意味着在Flink任务执行器中发生了一个问题,导致无法通知任务执行器的领导者监听器关于新的领导者的信息。寻求专业支持:如果上述步骤无法解决问题,你可以寻求Flink社区或官方支持渠道的帮助,例如在官方论坛上发布你的问题或与他们的技术支持团队联系。检查任务执行器日志:查看更详细的日志,尤其是在报错之前和之后的日志,以获取更多上下文信息,帮助诊断问题的根本原因。更新Flink版本:检查你正在使用的Flink版本,并尝试更新到最新的稳定版本,以确保任何已知的问题都得到修复。相关的日志,实际上没有打印。原创 2020-07-03 19:28:08 · 1623 阅读 · 3 评论 -
Kafka : FileNotFoundException索引文件丢失 xxx.index (No such file or directory)
kafka不知道什么原因报错。原创 2020-07-04 11:14:33 · 1314 阅读 · 0 评论 -
Kafka : 报错 KafkaController NoSuchElementException : : key not found : [xxx]
1.美图2.背景运行中的kafka 报错如下目前还没找到原因参考:KafkaKAFKA-415原创 2020-07-04 11:14:16 · 1129 阅读 · 6 评论 -
Kafka : kafka重启报错 ZkClient allready closed
1.美图2.背景kafka突然发现,有问题了,然后重启,却发现报错,但是zk是好的。原创 2020-01-16 17:16:38 · 884 阅读 · 0 评论 -
kafka报错:creating broker listeners from xxx unable to parse xxx:9092 to a broker endpoint
1.美图2.背景kafka报错:creating broker listeners from xxx unable to parse xxx:9092 to a broker endpoint具体报错内容如下这个是你的地址域名写错了,或者Ip写的不对,如果遇到请联系我原创 2021-01-14 16:04:52 · 6602 阅读 · 4 评论 -
Task ‘compileDebugSource‘ not found in root project ‘kafka‘
编译kafka报错* Exception is:org.gradle.execution.TaskSelectionException: Task 'compileDebugSource' not found in root project 'kafka'. at org.gradle.execution.TaskSelector.getSelection(TaskSelect...原创 2019-06-15 15:51:51 · 6358 阅读 · 11 评论 -
【Spring】Could not commit JPA transaction RollbackException: Transaction marked as rollbackOnly
1.美图参考:https://blog.csdn.net/jiangyu1013/article/details/81162296https://www.cnblogs.com/fashflying/p/5669228.html添加链接描述添加链接描述添加链接描述添加链接描述添加链接描述添加链接描述添加链接描述添加链接描述...原创 2020-07-03 19:27:57 · 965 阅读 · 0 评论 -
Spark编译报错:missing or invalid depency detected while loading class file RDDOperationScope.class
missing or invalid depency detected while loading class file原创 2019-11-21 14:42:13 · 747 阅读 · 0 评论 -
Spark报错:Bad response ERROR for block BP-78092257-8.xx-121xxx
1.背景一个spark 运行了一夜的程序突然报错java.io.Exception : Bad response ERROR for block BP-78092257-8.xx-121xxx:blk_121xxx_3243 from datanode DataNodeInfoWithStorage[8.99,202] at org.xxx.hadoop.xxx.$ResponseProc...原创 2020-07-04 11:57:46 · 2369 阅读 · 0 评论 -
【Kudu-未解决】Kudu : Kudu error: Could not connect to a leader master. Client configured with 1 master
1.美图[cdh.dtwave.sit.local:21000] > select * from table_sink_strsql limit 1;Query: select * from table_sink_strsql limit 1Query submitted at: 2020-01-14 14:43:54 (Coordinator: http://xxx:25000)E...原创 2020-01-14 14:53:48 · 1743 阅读 · 0 评论 -
Maven: Could not transfer artifact xxx from/to xxx
远程仓库配置错误:您的Maven配置文件(settings.xml)中可能存在错误的远程仓库配置。检查Maven配置:检查您的Maven配置文件(settings.xml),确保远程仓库的URL和凭据正确,并与实际情况相匹配。网络连接问题:您的网络连接可能存在问题,导致Maven无法访问远程仓库。检查防火墙和代理设置:如果您使用防火墙或代理服务器,请确保配置正确,并允许Maven访问远程仓库。检查网络连接:确保您的网络连接正常,并尝试使用浏览器访问远程仓库URL,确认是否可访问。原创 2020-03-04 12:07:07 · 5076 阅读 · 4 评论 -
【kafka】produce response correlation id xxx on topic-partition retrying Error: NETWORK_EXCEPTION
1.美图2.背景参考:添加链接描述错误2020-04-19 21:01:29,612 WARN org.apache.kafka.clients.consumer.internals.ConsumerCoordinator - Auto-commit of offsets {com.dbapp.topic.rawevent-5=OffsetAndMetadata{offset=386...原创 2020-07-03 19:22:10 · 2245 阅读 · 0 评论 -
【HIve】java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
请确保您正在使用兼容的Spark和Hive版本,并且它们之间的依赖关系正确配置。另外,还要检查项目的依赖项是否有冲突或版本不兼容的情况。检查您的pom.xml(或build.gradle)文件中的Spark和Hive依赖项。确保它们的版本匹配,并且没有其他与Spark和Hive相关的依赖项存在冲突。如果您正在使用Spark和Hive的不同版本,尝试使用兼容的版本。如果上述步骤无法解决问题,请提供更多关于您的项目配置、Spark和Hive版本以及项目依赖项的详细信息,以便我能够提供更具体的帮助。原创 2018-07-12 16:21:20 · 4464 阅读 · 6 评论 -
【Kafka】[Group Metadata Manager on Broker xx]: Removed 0 expired offsets in kafka.coordinator.GroupMe
1.背景偶然和看到kafka server.log下面有很多这样的日志,于是就想知道这些日志是在干么?会不会有什么问题[2020-05-06 16:24:43,578] INFO [Group Metadata Manager on Broker 1005]: Removed 0 expired offsets in 0 milliseconds. (kafka.coordinator.Gr...原创 2020-07-01 22:23:30 · 6462 阅读 · 0 评论 -
【Flink】Could not complete the operation,Number of retries has been exhausted
1. 背景不知道什么原因报错原创 2020-07-01 22:24:17 · 3991 阅读 · 2 评论 -
【Docker】Error: No such image: gotok8s/kube-proxy:v1.16.5
1.背景背景请参考:原创 2020-07-01 22:13:24 · 1188 阅读 · 0 评论 -
【Docker】Mac下Docker启动Kubernetes
1.背景在Mac中安装了Docker之后,会自动安装了Kubernetes,正常情况下,我们只需要在Docker的Preferrences->Kubernetes中勾选Enable Kubernetes,然后点击Apply按钮即可。但由于伟大的墙的存在,这么一个简单的启动也会变得一波三折。如果您是直接在Docker中启用Kubernetes,Kubernetes的状态会一直都是kubernetes is starting…,原因是有一些Kubernetes依赖的镜像不能正常的下载。参考:h..原创 2020-07-01 22:11:57 · 1761 阅读 · 0 评论 -
【Kubernetes】Error: Cask minikube is unavailable No Cask with this name exists
1.概述从Mac OS Catalina开始,Kubernetes文档中提供的方法不起作用了,并且Brew cask似乎也没有minikube。# 这里可以看到好像没有minikube了==> Updated Casks4k-stogram dcp-o-matic-encode-server lbry p4v .原创 2020-07-01 22:16:55 · 4076 阅读 · 0 评论 -
【Hadoop】Hadoop SocketChannelImpl UnresolvedAddressException
1.背景一段代码如下,运行的时候报错如下BucketingSink<String> sink = new BucketingSink<>("hdfs://" + hdfsProp.getProperty("hdfsPath", "/tmp"));sink.setBucketer(new DateTimeBucketer<> ("yyyy-MM-dd-HHmm", ZoneId.of("Asia/Shanghai")));sink.setWriter(new S.原创 2020-07-01 17:56:33 · 677 阅读 · 0 评论 -
【Siddhi】Error:osgi: [siddhi-execution-string] Manifest file ${_include} missing OSGi facet
1.背景下载siddhi 自定义函数的代码:https://github.com/lccbiluox2/siddhi-execution-string.git然后运行测试类报错org.wso2.extension.siddhi.execution.string.ContainsFunctionExtensionTestCase#testContainsFunctionExtensionError:osgi: [siddhi-execution-string] Manifest file '${_.原创 2020-07-01 22:12:17 · 640 阅读 · 0 评论 -
【siddhi】 siddhi kafka报错 SiddhiAppCreationException At stream SweetProductionStream source kafka
1.美图2.背景写了一个siddhi与kafka的代码,不太熟悉,代码如下,报错package com.siddhi.v42x.demo.source.kafka.kafka10;import org.junit.Test;import org.wso2.siddhi.core.SiddhiAppRuntime;import org.wso2.siddhi.core.SiddhiMa...原创 2020-07-04 12:05:18 · 866 阅读 · 0 评论 -
【Kafka】kafka Authentication failed credentials with SASL mech
1.背景新下载了一个kafka ,然后执行【Kafka】Kafka如何开启SSL 控制台消费与生产 代码消费与生产 的创建脚本,然后1.1 配置Kafkadelete.topic.enable=trueauto.create.topics.enable=truelisteners=SASL_SSL://localhost:9093,PLAINTEXT://localhost:9092advertised.listeners=SASL_SSL://localhost:9093,PLAINT.原创 2020-08-10 12:18:24 · 3309 阅读 · 0 评论 -
【SpringBoot】Spring boot 测试类 找到不到MySQL 驱动
1.背景写了一个Spring boot 项目,引入了MySQL <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.19</version> </d.原创 2020-07-12 10:45:34 · 937 阅读 · 0 评论 -
【Flink】Flink 启动报错 DirectoryNotEmptyException Could not close resource
美图1.背景windows下开发Flink程序,启动的时候报错如下,下次再次启动的时候就不报错了org.apache.flink.util.FlinkException: Could not close resource. at org.apache.flink.util.AutocloseableAsyn.close (AutoCloseableAsyne.java:42) at org.apache.flink.streaming.api.environmen.LocalStreamEnvi原创 2020-07-03 18:55:39 · 1468 阅读 · 0 评论 -
【Flink】Flink network netty ProducerFailedException SimpleChannelInboundHandler NullPointerException
1.背景一个flink程序报错这个org.apache.flink.runtime.io.network.netty.exception.RemoteTransportException: Error at remote task manager '1.datanode3/72.118.1.15:39701'. at org.apache.flink.runtime.io.network.netty.CreditBasedPartitionRequestClientHandler.decodeMs.原创 2020-07-03 18:47:16 · 1053 阅读 · 0 评论 -
【MySQL】MySQL异常Lock wait timeout exceeded try restarting transaction
遇到这个异常,还没尝试解决https://blog.csdn.net/lingfeian/article/details/98312353原创 2020-06-27 17:17:42 · 799 阅读 · 0 评论 -
【Kafka】Illegal unquoted character ((CTRL-CHAR, code 0)): has to be escaped using backs
1.背景参考:【Kafka】kafka反序列化数据报错jackson2 JsonParseException: Invalid UTF-8 middle byte 0xc0我是都统一成UTF-8的时候,出现了这种情况。原创 2020-06-27 18:07:01 · 2654 阅读 · 0 评论 -
【Kafka】【未解决】kafka反序列化数据报错jackson2 JsonParseException: Invalid UTF-8 middle byte 0xc0
1.背景因为需要windows下进行flink测试,于是在windows下开启kafka,然后拷贝一段数据,使用comsole去发送数据,此时发现数据在解析的时候报错org.apache.flink.shaded.jackson2.com.fasterxml.jackson.core.JsonParseException: Invalid UTF-8 middle byte 0xc0at [source: (byte[])"( "fileName": "user","eventCount": "1".原创 2020-06-27 18:06:55 · 3422 阅读 · 0 评论 -
【Flink】Flink 消费kafka报错 AMRMClientAsyncImpl Interrupted while waiting for queue InterruptedException
1.背景一个flink etl程序,读取一个kafka集群的数据,到两外一个集群,然后报错2020-06-06 15:56:00 PM [Thread: flink-akka.actor.default-dispatcher-20][ Class:org.apache.flink.runtime.executiongraph.ExecutionGraph] INFO:Source: com.dbapp.ailpha.topic.securityalarm.copy -> filter_2 ->原创 2020-06-27 18:05:51 · 2959 阅读 · 0 评论 -
【Flink】Flink 检查点 Triggering checkpoint createBlockoutputstream no further info information
1.背景案例程序参考:https://blog.csdn.net/qq_21383435/article/details/106493465然后报错[28-6-82 1:899 [INFOj forg.pache.flink.runtime.checkpoint.CheckpointCoordinator:617] Triggering checkpoint[2828-6- 82 11:9:10] INFOj [org.apache.hadoop.hdfs DFSclient:1368] Exce原创 2020-06-29 22:26:31 · 934 阅读 · 0 评论 -
【OSGI】The Provide-Capability with namespace ${provide.capability} is not a symbolic name
1.背景git下载项目:siddhi-test-suite 然后运行里面的测试类报错Error:osgi: [siddhi.test.suite] Invalid value for DynamicImport-Package, ${dynamic.import.package} does not match ((\p{Alnum}|_)+(\.(\p{Alnum}|_)+)*(\.\*)?)|\*Error:osgi: [siddhi.test.suite] The Provide-Capa.原创 2020-07-01 17:57:21 · 596 阅读 · 0 评论 -
【OSGI】Error osgi xx Invalid value for DynamicImport-Package dynamic.import.pack
1.背景git下载项目:siddhi-test-suite 然后运行里面的测试类报错Error:osgi: [siddhi.test.suite] Invalid value for DynamicImport-Package, ${dynamic.import.package} does not match ((\p{Alnum}|_)+(\.(\p{Alnum}|_)+)*(\.\*)?)|\*Error:osgi: [siddhi.test.suite] The Provide-Capa.原创 2020-07-01 17:57:10 · 656 阅读 · 0 评论 -
【安全】Apache HDFS 上配置 kerberos
4.1 创建认证规则在 Kerberos 安全机制里,一个 principal 就是 realm 里的一个对象,一个 principal 总是和一个密钥(secret key)成对出现的。这个 principal 的对应物可以是 service,可以是 host,也可以是 user,对于 Kerberos 来说,都没有区别。Kdc(Key distribute center) 知道所有 pr...原创 2018-11-02 10:25:48 · 1787 阅读 · 0 评论 -
【Flink】Flink exitCode=239
1.场景11.1 概述checkpoint 设置3分钟 也失败我申请的 资源是 -yqu realtime -yjm 1024 -ytm 2048 -ys 2原创 2021-04-25 21:10:01 · 1968 阅读 · 4 评论