![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
解决方法
L姓数据工程师
人不远行身不壮,火不烧山地不肥
展开
-
org.apache.spark.SparkException: Job aborted due to stage failure:Task 1 in stage 0.0 failed 4 times
在运行spark代码时,执行过半报出了如题的异常:只能得知job没有正常执行,但是不知道具体的问题出现在哪里,没法直接看出错误就要去日志查看更详细的错误日志每个application执行的日志都在如下路径中:hadoop安装目录下/opt/apps/hadoop-3.1.1/logs/userlogs/该目录中会列出所有已经执行过的applicationdrwx--x---. 3 root root 52 Oct 14 16:56 application_1602637680764原创 2020-10-14 19:05:34 · 42213 阅读 · 1 评论 -
HDFS强制退出安全模式
hdfs dfsadmin -safemode leave; //退出安全模式hdfs dfsadmin -safemode forceExit; //强制退出安全模式若使用正常的退出安全模式方法无法生效时,即还是Safe mode is ON就是用强制退出安全模式原创 2020-10-05 13:03:40 · 3036 阅读 · 0 评论 -
Spark整合hive详细流程
注意点:Spark是完全兼容hive的,若之前hive有自己的元数据库,则spark可以直接使用,若之前没有,则可以用spark创建hive元数据库 元数据库保存的是许多描述信息,也就是数据库和表的各种信息,如数据存储信息、表结构信息等 原始数据保存在HDFS中1.首先要找到hive元数据库在什么位置此时要导入一个配置文件,即将hive-site.xml导入到spark安装目录下的conf文件夹中,在配置文件中设置各种参数hive-site.xml<?xml version=.原创 2020-10-05 10:56:58 · 705 阅读 · 0 评论 -
NoClassDefFoundError: com/fasterxml/jackson/core/exc/InputCoercionException错误解决
执行Spark程序时出现如下错误:Exception in thread "main" java.lang.NoClassDefFoundError: com/fasterxml/jackson/core/exc/InputCoercionException at com.fasterxml.jackson.module.scala.deser.NumberDeserializers$.<init>(ScalaNumberDeserializersModule.scala:48) at原创 2020-10-04 12:58:44 · 2841 阅读 · 1 评论 -
解决使用hive打印无效INFO日志问题
一劳永逸的方法配置hive-site.xml,添加下面配置信息<property> <name>hive.server2.logging.operation.enabled</name> <value>false</value></property>然后重启集群stop-all.shstart-all.sh再开启hive,问题解决!...原创 2020-08-24 22:40:58 · 2997 阅读 · 5 评论 -
IDEA安装MAVEN时经常出现的几个问题
由于最近换了新电脑,要给IDEA重新安装MAVEN,结合之前踩过的几个坑,给出一般的解决方案1.关于配置文件出错问题安装maven的时候要在配置文件中更改两个位置的内容,一是本地仓库的位置,二是要配置阿里云镜像,这样下载jar包的速度要快不少。这里必须要知道,阿里现在不支持http下载,改为了https,所以url要使用https协议在官网下载好maven后,放到目标盘符,直接解压,路径中最好不用出现中文,以避免不必要的麻烦修改配置文件:找到X:\apache-maven-3.X.X\conf使用原创 2020-08-05 17:55:34 · 471 阅读 · 0 评论 -
eclipse中出现的Resource leak解决方法
相信大家都遇到过如下问题虽然这个警告并不会对程序执行产生影响,但出于代码应该简洁正确的原则,还是应该尽量消除这些警告出现该警告的原因:是因为声明了输入流System.in,即数据输入扫描器,错误警告意为:资源泄露,扫描器永远不会关闭。声明以后,系统会自动为其分配相应的内存空间,但在程序运行结束后,并没有对释放这部分内存空间,导致空间一直被占用,这就造成了内存资源的浪费,所以出现警告最常用的解决方法:在main()函数末尾处,也就是程序运行结尾,使用xx.close();函数结束该输入流,从而释放内存原创 2020-06-28 09:17:47 · 3065 阅读 · 1 评论