- 博客(3)
- 收藏
- 关注
RSS订阅原创 成功解决java.lang.Exception: When running with master ‘yarn‘ either HADOOP_CONF_DI
解决问题spark on yarn 模式提交任务，java.lang.Exception: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environme解决思路spark找不到yarn相关的地址端口信息，无法提交到yarn上运行。解决方法添加环境变量到env文件中hezepei@MacBook-Pro conf % vim spark-env.shexpo
2021-03-22 18:28:13
3008
1
原创 成功解决Error: Failed to load class com.leo.sparkrdd.SparkRDDCalculateApp.
解决问题WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicableError: Failed to load class com.leo.sparkrdd.SparkRDDCalculateApp解决思路spark这个类，可能是打包的问题。解决方法执行命令的：spark-submit –class
2021-03-22 18:25:46
5029
1
原创 成功解决Exception in thread “main“ java.lang.NoClassDefFoundError: com/alibaba
解决问题spark-submit 提交任务，报包找不到异常。Exception in thread “main” java.lang.NoClassDefFoundError: com/alibaba/fastjson/TypeReference解决思路集群环境中没有，集群的worker节点找不到这个包解决方法1、提交命令使用 --jars 参数带上包官方描述：application-jar: Path to a bundled jar including your application a
2021-03-22 18:21:53
3583
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人