报错分析
文章平均质量分 64
扫地增
莫问,问就是无敌
展开
-
如何不替换驱动jar包解决旧版本mysql驱动引起的No columns to generate for ClassWriter问题
bug解决的核心还是日志+理论。加油吧兄弟萌!原创 2022-08-04 14:31:30 · 675 阅读 · 1 评论 -
hive client 登录报权限不足问题/tmp/hive on HDFS should be writable. Current permissions are: rwx------
今早同事突然说,hive在服务器登录不上去了,报权限问题。集群一直好好的怎么报权限问题呢个?笔者问了问情况,了解到原来该同事是看tmp目录下存储的较多的数据觉得浪费空间所以清理了/tmp。为了帮助新同事萌了解问题提供解决思路,首先这个问题比较简单,添加权限就可以,明白tmp下目录信息,特此记录。............原创 2022-07-18 11:25:58 · 1166 阅读 · 1 评论 -
重启集群造成块丢失问题org.apache.hadoop.hdfs.CannotObtainBlockLengthException: Cannot obtain block length for L
我于2022-06-10执行查询报错日志报错分析报错是在执行hive查询的时候报的,从报错我们可以看出这是一个map reduce阶段读取数据时候报错,是读取文件数据块异常的问题,我们可以理解为数据文件块损坏或丢失问题。遇到这个问题是因为之前升级HA集群关闭了较长一段时间,前端采集数据使用的是flume,关闭集群导致flume数据到hdfs文件没有正常关闭。因此在造成这个问题。因此我们需要找到没有正常关闭的文件并将他们修复。1、通过命令hdfs fsck /user/hive -openforwr原创 2022-06-10 15:49:41 · 976 阅读 · 1 评论 -
记一次造成java.lang.ClassNotFoundException和java.lang.NoClassDefFoundError的操作及解决
1 背景:笔者在自己编写flink代码并进行本地测试时遇到,报错如下:这个问题明显是说在编译时JVM加载不到类或者找不到类导致的,于是报了java.lang.ClassNotFoundException,而且在运行时JVM加载不到类或者找不到类直接报错java.lang.NoClassDefFoundError,Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/api/scala/typeutils/C原创 2021-07-27 11:59:50 · 3918 阅读 · 1 评论 -
SparkSql报错——记java.io.IOException: Illegal type id 0. The valid range is 0 to -1报错
报错现象21/07/03 09:44:02 WARN scheduler.TaskSetManager: Lost task 40.0 in stage 1.0 (TID 101, bj00-a-080-024-bdy.iyunxiao.com, executor 2): java.io.IOException: Illegal type id 0. The valid range is 0 to -1 at org.apache.orc.OrcUtils.isValidTypeTree(OrcUtil原创 2021-07-05 12:04:16 · 1351 阅读 · 1 评论 -
Python 报错 Non-ASCII character ‘\xe5‘ in file simple_message.py , but no encoding declare
问题在编写Python时,当使用中文输出或注释时运行脚本,会提示错误信息:SyntaxError: Non-ASCII character ‘\xe5’ in file *******原因python的默认编码文件是用的ASCII码,而你的python文件中使用了中文等非英语字符。解决办法在Python源文件的最开始一行,加入一句:# coding=UTF-8(等号换为”:“也可以)或者# -*- coding:UTF-8 -*-...原创 2020-09-21 10:14:54 · 491 阅读 · 1 评论