异常解决
文章平均质量分 80
董可伦
博主曾获2014年全国数学建模竞赛国家一等奖;有八年大数据经验,大数据领域专家、CSDN博客专家。Apache Hudi Active Contributor,喜欢开源,擅长并乐于分享Flink、Hudi、Spark等大数据领域的技术
展开
-
写Hudi异常:‘Not an Avro data file‘ 解决方法
记录写Hudi时的一个异常的解决方法,其实这个异常从去年就发现并找到解决方法了,而且已经提交到社区merge了,PR:[HUDI-2675] Fix the exception ‘Not an Avro data file’ when archive and clean。之所以现在又要总结这个异常的处理方法是因为:我们生产环境用的 Hudi0.9.0版本,且没有升级,因为升级Hudi版本可能会有不兼容的问题,需要测试,比较费时,所以目前还没有升级版本,而这个PR合入的版本为0.11.0,所以本文主要总结在0原创 2022-10-14 17:23:42 · 1632 阅读 · 20 评论 -
org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
我的原创地址:https://dongkelun.com/2020/11/17/hadoopExcepetion2/前言这个异常发生在Spark读取Windows本地CSV然后show,当然一般情况下不会发生,还有一个条件,项目里加了hbase-client和hbase-mapreduce,具体是哪一个依赖或者两个依赖合起来造成的影响我没有去细究,主要记录解决方法网上也有其他很多情况可能出现这个异常详细异常信息Exception in thread "main" java.lang.Unsa原创 2021-07-15 20:03:43 · 2394 阅读 · 4 评论 -
Spark 3.0.1 Structured Streaming 提交程序异常解决
我的原创地址:https://dongkelun.com/2020/10/09/spark3StreamingException/前言先说解决办法,提交时除了添加spark-sql-kafka和kafka-clients jar包外,还要添加spark-token-provider-kafka和commons-pool jar包,具体为spark-token-provider-kafka-0-10_2.12-3.0.1.jar和commons-pool2-2.6.2.jar注意:Spark 3 版本原创 2021-07-10 16:36:29 · 1220 阅读 · 1 评论 -
hive查询报错:java.io.IOException:org.apache.parquet.io.ParquetDecodingException
这个异常是用spark sql将oracle(不知道mysql中有没有该问题,大家可以自己测试一下)中表数据查询出来然后写入hive表中,之后在hive命令行执行查询语句时产生的,下面先具体看一下如何产生这个异常的。...原创 2018-05-21 00:46:37 · 10399 阅读 · 1 评论 -
ambari 异常总结及解决办法
本文总结在使用ambari时产生的异常,以及如何解决的。如果发生了异常,在界面上不能直观的看出异常的原因,那么我一般通过查看日志的方法解决。通过下面的命令查看若该日志文件没有异常信息,可在其他日志文件里查找。...原创 2018-08-03 09:13:39 · 10709 阅读 · 1 评论 -
HDFS DataNode启动异常:/opt/jdk1.8.0_151/bin/java:权限不够
我的原创地址:https://dongkelun.com/2018/07/10/HadoopException/前言这个异常是在在ambari里启动DataNode产生的,其实这个问题很久就发现了,只是没时间去处理,所以之前把发生问题的slave1节点给移除了,现在有时间处理,就又把slave1加上了,所以就有了ambari 异常总结及解决办法里面的问题,这个java权限不够的问题,在添加...原创 2018-08-03 09:15:09 · 4619 阅读 · 1 评论