Himma71-CSDN博客

原创 idea中maven项目报错解决（持续更新）

1，idea中maven模块突然不见了（一般是误操作造成）问题：左下角及右边的maven模块显示都不存在解决方案：1，找到项目中的pom.xml，右键2，右键显示面拉到最底下，找到Add as Maven Project命令，点击即可恢复原来的maven模块2，在执行maven中执行clean和install操作时clean执行：报错Process terminated查看日志报错:解决方案：打开maven检查maven中setting文件路径是否正确及.m2中的setting文件是

2021-01-21 16:56:51 1164

原创 hive数仓编写UDF时，idea中jar包下载失败

hive数仓编写UDF时，idea中jar包下载失败1，编写hiveUDF时，jar包下载失败，需要在maven中配置以下参数，忽略SSL证书校验原因：由于http与https协议问题。-Dmaven.wagon.http.ssl.insecure=true -Dmaven.wagon.http.ssl.allowall=true -Dmaven.wagon.http.ssl.ignore.validity.dates=true配置步骤：Setting->Maven->Runner-&g

2020-12-10 17:43:15 446

原创 shell 脚本执行报错：/bin/bash^M: 坏的解释器: 没有那个文件或目录

shell 脚本执行报错：/bin/bash^M: 坏的解释器: 没有那个文件或目录关于Windows上编写的脚本，上传到linux系统上执行报错：/bin/bash^M: 坏的解释器: 没有那个文件或目录分析：这是在Windows上编写脚本时，每一行之后的回车在换行后，行结尾为“\n\r”，而在linux中编写脚本换行后，行结尾为“\n”，所以当将Windows上编写的脚本在linux上执行时会出现，解释不了的问题解决方式：在linux上对Windows上传过来的脚本，进行去‘\r’操作

2020-07-09 10:41:50 1034

原创 hadoop-MR任务报错：org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Error while initializing

yarn的运行报错：初始化运行报错介绍：我的一个MR任务，运行失败，查看运行日志，错误如下：mapreduce.Job: Job job_1591237623212_1255 failed with state FAILED due to: Application application_1591237623212_1255 failed 2 times due to AM Container for appattempt_1591237623212_1255_000002 exited with e

2020-07-01 14:21:18 1364

原创 idea报错：Error running name: Command line is too long.

idea任务RUN 运行报错报错：Error running ‘IncrementAll’: Command line is too long. Shorten command line for IncrementAll错误介绍：什么命令行太长？我也不是很懂解决方式：Run ——>Edit Configurations选择：JAR manifest点击apply，然后OK返回最后在项目界面：.idea中编辑workspace.xml文件在里添加一行然后就可以正常测试代码了。。

2020-06-29 16:21:01 2495

原创 Spark-yarn项目 Rpc异常分析

使用spark提交一个yarn任务，查看日志一直报错RPC，任务无故中断错误log：ERROR client.TransportClient: Failed to send RPC 8290033677317452744 to /192.168.11.111:9999: java.nio.channels.ClosedChannelException原因分析：集群设置给节点分配内存较小，yarn kill掉了application...

2020-06-29 14:24:25 527

原创大数据——IDEA:启动测试代码，显示：错误：找不到或无法加载主类

大数据——IDEA:启动测试代码，显示：错误：找不到或无法加载主类错误：找不到或无法加载主类错误分析：我一般写的都是大数据的MapReduce的相关代码，会在自己的idea中进行少量的数据测试（一般几兆或几十兆不等的测试数据）。一天，我写了一个java的测试代码（就一个语句定义的小测试）Run后，报错：无法加载主类 +包名。然后写乐一个java的helloworld代码，还是报错。错误原因：idea缓存问题解决方法：1，打开idea：File—>Invalidate Caches/Res.

2020-06-18 11:03:32 789

Himma71的博客