![](https://img-blog.csdnimg.cn/1cb0340f27bf4ae0a4ce49bc55ce9f44.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
异常解决
文章平均质量分 74
工程开发常见异常解决
BIT_666
天道酬勤,厚积薄发
展开
-
GIT - 清除历史 Commit 瘦身仓库
Git 清除历史 Commit,缩减容量。原创 2024-01-09 14:19:59 · 809 阅读 · 0 评论 -
Shell - crontab 定时 git 拉取并执行 maven 打包
shell 脚本 crontab 定时 git pull + mvn package。原创 2023-03-10 14:43:23 · 892 阅读 · 3 评论 -
Maven - Linux 服务器 Maven 环境安装与测试
通道机 maven 安装与测试踩坑。原创 2023-03-09 13:27:50 · 702 阅读 · 3 评论 -
Scala - Idea 项目报错 Cannot resolve symbol XXX
Idea Scala 项目报错 Cannot resolve symbol XXX。原创 2023-02-09 15:46:26 · 3415 阅读 · 1 评论 -
Spark - [FAILED_TO_LOAD_NATIVE_LIBRARY] no native library is found for os.name=Mac and os.arch.. 解决
[FAILED_TO_LOAD_NATIVE_LIBRARY] no native library is found for os.name=Mac and os.arch=aarch6 Spark 异常排查与解决。原创 2023-01-17 14:56:48 · 2378 阅读 · 0 评论 -
Flink 异常 - 12.java.lang.IncompatibleClassChangeError: Implementing class X StreamTableEnvironment
Flink -java.lang.IncompatibleClassChangeError: Implementing class 异常排查与解决。原创 2022-11-13 16:09:25 · 1102 阅读 · 1 评论 -
Java / Tensorflow - Expects arg[0] to be int64 but int32 is provided 异常处理
Java 调用 Session 报错 Expects arg[0] to be int64 but int32 is provided 异常解决。原创 2022-11-01 19:00:38 · 640 阅读 · 1 评论 -
Java / Tensorflow - API 调用 pb 模型使用 GPU 推理
Java x Tensorflow x GPU 使用与踩坑指南。原创 2022-09-30 14:29:52 · 2810 阅读 · 5 评论 -
Shell - Java -jar 提交不显示中文与 MalformedInputException: Input length = 1
Shell Input length = 1 报错排查与解决。原创 2022-09-23 13:23:19 · 779 阅读 · 4 评论 -
Flink 异常 - 9.The heartbeat of TaskManager with id container timed out 分析与 Heartbeat 简介
Flink Heartbeat 原理与异常解决。原创 2022-09-06 10:30:35 · 4424 阅读 · 43 评论 -
NoClassDefFoundError - hadoop/crypto/key/KeyProviderTokenIssuer && hadoop/fs/BatchListingOperations
NoClassDefFoundError - hadoop/crypto/key/KeyProviderTokenIssuer && hadoop/fs/BatchListingOperations 报错解决与总结。原创 2022-07-28 20:32:53 · 2888 阅读 · 0 评论 -
Flink 异常 - 10.checkpoint Failure reason: Not all required tasks are currently running
Flink 程序增加 readFile 生成文件流后,最初运行期间 CheckPoint 存储没有问题,待文件流 Finished 后 CheckPoint 存储报错: checkpoint Failure reason: Not all required tasks are currently running,下面分析并解决下。原创 2022-07-27 09:19:02 · 1888 阅读 · 2 评论 -
Flink 异常- 7.NoSuchMethodError: com.twitter.chill.java.Java8ClosureRegistrar.areOnJava8()Z
使用 Flink 1.13.1 + scala 2.11.12 的组合进行 Flink 本地测试是,报错.NoSuchMethodError: com.twitter.chill.java.Java8ClosureRegistrar.areOnJava8()Z,经过前面多次的 noSuchMethod 的折磨,现在已经轻车熟路,直接开始排查。...............原创 2022-07-18 10:27:06 · 1099 阅读 · 1 评论 -
Spark - Illegal pattern component: XXX 与org.apache.commons.lang3.time.FastDateFormat incompatible
使用 sparkSession 读文件时出现java.lang.IllegalArgumentException: Illegal pattern component: XXX 报错,解决后又出现java.io.InvalidClassException: org.apache.commons.lang3.time.FastDateFormat; local class incompatible: stream classdesc serialVersionUID = 2,下面解决一下。...原创 2022-07-11 17:53:23 · 1387 阅读 · 0 评论 -
Shell - line 2: $‘\r‘: command not found
拷贝脚本提交后报错 line 2: $'\r': command not found,但是这是别的同学可以运行后发给我的,随后开始排查。安装 dos2unix 需要使用 yum。安装 yum 需要使用 brew。原创 2022-05-12 15:07:47 · 3637 阅读 · 0 评论 -
Java - MR 读写 orc 之 NoSuchMethodError: hive.ql.exec.vector.VectorizedRowBatch.getMaxSize()
一.引言上一篇文章提到了 Java map-reduce 如何单独读取 ORC 文件以及 RcFile 文件,在同一个 MR 任务下分别读取 RcFile 以及 ORC 文件时,报如下错误:java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.exec.vector.VectorizedRowBatch.getMaxSize()I。完整的异常栈如下:2022-04-20 06:44:47,326 FATAL [main] org.apach.原创 2022-04-20 15:50:49 · 2696 阅读 · 0 评论 -
Spark - ReturnStatementInClosureException: Return statements aren‘t allowed in Spark closures
Spark 使用 RDD 调用 Filter 函数时,dirver 端卡住,报错 ReturnStatementInClosureException: Return statements aren't allowed in Spark closures,即闭包内无法使用 return 函数。原创 2022-03-28 17:48:43 · 3010 阅读 · 0 评论 -
Flink 异常 - 3.java.lang.InternalError: Malformed class name
本地执行 Flink 程序报错 java.lang.InternalError: Malformed class name。原创 2022-03-21 19:23:38 · 1588 阅读 · 0 评论 -
Flink 异常 - 5.本地执行 Failed to start the Queryable State Data Server
Flink 本地执行任务报错 Failed to start the Queryable State Data Server 以及 Unable to start Queryable State Server. All ports in provided range are occupied. 根据报错分析是因为本地端口被占用,没有足够端口供 Flink 本地客户端启动,所以解决方法就是处理被占用的端口。...原创 2022-03-21 11:04:04 · 3973 阅读 · 0 评论 -
Spark - ml.dmlc.xgboost4j / spark 版本匹配与 NoSuchMethodError 解决
spark 项目引入 ml.dmlc.xgboost4j 训练并读取 xgboost 模型,load 模型期间报错 NoSuchMethodError,通过源码的分析得到 xgboost 与 spark 版本对应关系。原创 2022-03-18 18:56:44 · 2220 阅读 · 2 评论 -
Flink 异常 - 1.新增 BroadcastStream 无 watermark 导致数据流异常
Flink 任务新增 BroadcastStream 无 watermark 导致数据流异常,修复问题并熟悉单流,双流 Watermark 机制。原创 2022-03-17 15:04:12 · 1510 阅读 · 0 评论 -
Flink 异常 - 2.The object probably contains or references non serializable fields 无法序列化问题
使用 Flink 自定义 Source 生成数据时,集群提交任务时显示 org.apache.log4j.Logger@72c927f1 is not serializable. The object probably contains or references non serializable fields.原创 2022-03-16 08:14:05 · 5227 阅读 · 0 评论 -
JedisPool - Java.net.SocketException: Broken pipe (write failed)
一.引言使用 JedisPoll 多线程写入时,阶段性报错 broken pipe,重启后任务正常,一段时间后再次出现该报错。JedisPool 配置如下: val config = new JedisPoolConfig config.setMaxIdle(20) config.setMinIdle(20) config.setNumTestsPerEvictionRun(-2) config.setTimeBetweenEvictionRunsMillis(30000原创 2022-03-15 15:57:40 · 2817 阅读 · 0 评论 -
Maven - 同时编译打包 Scala & Java 找不到类
项目编码同时用到了 Scala 和 Java,mvn package 打包后发现项目内只引入了 Scala 代码的 class,而 Java 相关的代码并未引入。通过修改 pom.xml配置解决。原创 2022-03-01 12:02:35 · 1518 阅读 · 2 评论 -
Hive - 警惕默认分割符号:^A
hive 执行如下 insert 插入语句后将数据从 RCFile 格式转换为 Text 并导入 Hdfs,但是解析忽略了 ^A 默认符,导致后续任务判断失效。原创 2022-01-13 19:18:04 · 2086 阅读 · 0 评论 -
Python - matplotlib 不显示中文 && findfont: Font family [‘SimHei‘] not found - IOS
python matplotlib.plt 使用 plt.title 写标题时,标题显示为方框,无法正常显示中文,遂开始修复之旅。原创 2022-01-07 16:34:27 · 12661 阅读 · 25 评论 -
Scala/Java - Redis 连接检测与重试
项目实现中需要连接 redis,为了防止因网络抖动或其他原因造成的客户端连接失败,一般需要增加重试机制判断 client 是否连接成功,之前写了一版重连代码发现有 bug,借此机会看下代码 bug 以及如何更好的重连 redis。...原创 2022-01-05 14:45:15 · 2333 阅读 · 0 评论 -
Scala - 使用转义字符 \\ 与 | 分割字符
scala 使用 '|' 作为分割字符时,报红线并提示 scala empty branch in alternation,使用 \\ 转义字符修饰后实现 '|' 的正常 String Split。原创 2021-12-31 16:32:47 · 17310 阅读 · 6 评论 -
Shell - contains 判断字符是否存在于列表 && shell 逻辑判断踩坑
使用 shell 实现时间判断逻辑时,需要判断对应 $hour 是否存在于目标 $ValidHour[*] 数组中,经过各种踩坑,最后用最简单的思路实现了 contains 操作。原创 2021-12-28 11:49:38 · 3695 阅读 · 4 评论 -
Shell - line x: [: missing `]‘
使用 ShellIf-else 语句判断时间是否在某个范围时,报错 line x: [: missing `]',下面解决一下相关问题。原创 2021-12-27 10:45:57 · 971 阅读 · 0 评论 -
Java - java.lang.NoSuchMethodError: xxx 错误详解
java.lang.NoSuchMethodError 报错详细分析与解决方案。原创 2021-12-23 17:41:22 · 11171 阅读 · 3 评论 -
Spark - ERROR StatusLogger No log4j2 configuration file found
一.引言scala 项目运行 kafka 相关程序时报警告,虽然不影响运行,但是强迫症看着十分难受,下面立即清除。ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console.二.问题解决1.添加 log4j2.xmlloggers 里面可以配置 level<?xml version="1.0"原创 2021-12-22 13:05:57 · 1124 阅读 · 3 评论 -
Spark - parquet 加载时间过长 && parquet 指定 schema 无数据
Parquet是一种列式存储格式,常用语表结构数据存储,也是 sparkSql 的默认存储格式。spark 读取 parquet 文件时,偶发读取时间过长,正常 parquet 时间在 1-5 s,异常期间最长可达 10 min +,于是开始踩坑之旅,涉及 parquet 读取原理与 schema 配置方法。...原创 2021-12-15 20:11:15 · 2717 阅读 · 0 评论 -
Spark - hadoop.mapred.InvalidInputException matches 0 files && sc.textFile 忽略空文件
spark 代码执行任务时需要读取一个依赖文件,文件执行时该文件状态未知,有可能存在也有可能是空文件夹,遂增加 Try Catch 进行包装,当 sc.textFile 读取异常时,返回 emptyRdd,但是实际执行中,代码并未进入 Try Catch 区域,且报错异常栈显示在 foreachPartition 对应代码位置,遂开始修复之旅。...原创 2021-12-08 16:07:31 · 1296 阅读 · 0 评论 -
Scala - PriorityQueue 踩坑之不保序
继承 Comparator 实现 PriorityQueue 并且添加元素后,遍历 PriorityQueue 发现元素乱序,于是开始踩坑之旅。原创 2021-11-27 09:12:57 · 788 阅读 · 0 评论 -
Scala/Java - 本地执行 Unsupported major.minor version 52.0
在通道机部署本地任务时,执行报错Unsupported major.minor version 52.0 ,通过 spark-submit local 模式解决原创 2021-11-24 10:08:02 · 990 阅读 · 0 评论 -
Scala - Redis hgetAll 优化 by hscan
Redis 实际使用过程中,由于redis hgetAll 数据量过于大,导致线上 redis 进程堵塞,读取缓慢影响任务执行效率,改用 hscan 优化。原创 2021-11-23 11:32:11 · 6208 阅读 · 0 评论 -
Kafka - producer 参数整理与生产数据丢失分析
一.引言使用 KafkaProducer 生产数据并按照 interval = 60s 的间隔进行日志回收,执行 KafkaProducer.send参数分析buffer_memory:kafka 客户端发送数据到服务器会经过缓冲区,通过 KafkaProducer 发送出去的小气都是先进入客户端本地的缓存里,再通过 Sender 线程将多个batch 的数据发送到 Broker,buffer_memory 初始化设置为 32mb存在的问题:消息写入过快或者写入量过大,Send.原创 2021-11-03 13:49:00 · 1356 阅读 · 0 评论 -
Spark : local 模式 org.apache.hadoop.conf.Configuration.getPassword(Ljava/lang/String;)[C
一.引言spark local[*] 模式下本地测试报错:Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.getPassword(Ljava/lang/String;)[C二.解决方案NoSuchMethodError 报错之前分析过类似解决步骤 :java.lang.NoSuchMethodError 之 依赖冲突解决方案,根据报错信息定位到..原创 2021-08-27 19:45:51 · 2218 阅读 · 0 评论 -
Scala - Iterator 与 Array 内存的思考
一.引言scala 开发中常常需要遍历数组,一般有 Array 的 foreach 或者使用 Iterator 的 hasNext 和 next 方法进行遍历,小数据量情况下二者使用差别不大,foreach 更便利,但切换到大数据后,二者的性能和运行情况出现较大差异,下面用两个例子简单看看。二. Iterator 与 Array1.内存分析toArray:将此可遍历或迭代器的所有元素复制到缓冲区。注意:对于无限大小的集合不会终止。toIterator:返回此iterable集合中..原创 2021-07-20 10:52:46 · 557 阅读 · 0 评论