java -jar 运行spark程序出现问题汇总及解决方案

最新推荐文章于 2023-08-04 17:12:54 发布
最新推荐文章于 2023-08-04 17:12:54 发布
阅读量1.2k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark 大数据学习 文章标签： spark 问题汇总
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ctwy291314/article/details/108315890
这篇博客总结了在使用`java -jar`运行Spark程序时遇到的问题，包括文件冲突、配置丢失、签名校验失败、内存不足等，并提供了相应的解决方案。建议在打包时过滤特定文件，调整内存分配，并解决网络访问问题。详细代码示例和更多内容可在Git仓库查阅。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

java.io.IOException: No FileSystem for scheme: file

  • 原因：

    在hadoop-commons和hadoop-hdfs两个jar文件中，在META-INFO/services下包含相同的文件名org.apache.hadoop.fs.FileSystem，而我们使用maven-assembly-plugin时，最终只有一个文件被保留，所以被重写的那个文件系统就无法找到。

  • 解决方案：

    JavaSparkContext sc = new JavaSparkContext(conf);

Configuration h_conf = s
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Atlas2.1.0与CDH6.3.1版本Sqoop集成问题汇总及解决方案
gmHappy
09-29 1521
集成方案 Atlas编译部分可参照我的另一篇博客：https://gaoming.blog.csdn.net/article/details/108844380 通过添加以下内容在/sqoop-site.xml中设置Atlas hook： <property> <name>sqoop.job.data.publish.class</name> <value>org.apache.atlas.sqoop.hook.SqoopHook</value&
maven打包生成可执行jar
yuleishangran的博客
01-26 156
maven打包生成可执行jar 引入依赖 <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.1</ve
Maven打包可执行Jar包方式
weixin_34115824的博客
08-17 159
第一步：pom.xm中的build标签下加入maven插件配置，打包生成可执行jar包方式Maven中的打包方式更换为 &lt;packaging&gt;jar&lt;/packaging&gt;   build标签下的插件配置： &lt;plugins&gt; &lt;plugin&gt; &lt;groupId&gt;org.apache.mav...
Maven 打包可执行jar包
u010212256的博客
12-22 167
关于Maven打包插件 1.maven打包，首先在pom文件中加上build属性，和dependencies是同级的： 2.只需执行 mvn package 即可 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi
maven打包可执行jar
weixin_55891090的博客
03-19 374
1 场景 1.1 功能 通过maven名称生成可执行jar。 1.2 特性 （1）jar可读取外部配置文件 （2）生成doc、执行脚本文件 （3）打包时生产环境配置文件替换开发配置文件 1.3 依赖maven插件 （1）maven-jar-plugin （2）maven-assembly-plugin 2 实现 2.1 代码目录结构 项目名称：mysql-doc，用于生成mysql数据库表结构到excel src -main -config -assembly -package.xml
maven 打包可执行jar包
z69183787的专栏
03-04 894
Maven可以使用mvn package指令对项目进行打包，如果使用Java-jar xxx.jar执行运行jar文件，会出现"no main manifest attribute, in xxx.jar"（没有设置Main-Class）、ClassNotFoundException（找不到依赖包）等错误。 要想jar包能直接通过java -jar xxx.jar运行，需要满足： 1、在ja...
运行spark报错汇总
u011135852的博客
06-22 2008
1、Global Library右键没有Scala SDK选择，导致无法new出scala，解决方案：安装scala sdk，我使用如图（1）装的
Java8分摊结果实战：常见问题及解决方案分析
[分摊结果查看和检查-java语言规范(java8)](https://ruslanmv.com/assets/images/posts/2021-05-12-How-to-install-Spark-on-Windows/image-20230620112701625.png) # 摘要 Java8引入的分摊结果概念显著提高了数据...
maven 打包可运行jar包(转)
热门推荐
辉哥大数据
08-08 3万+
目录 1、前提 2、方法一：使用maven-jar-plugin和maven-dependency-plugin插件打包 3、方法二：使用maven-assembly-plugin插件打包 4、方法三：使用maven-shade-plugin插件打包 ————————————————————————————————– 1、前提 Maven可以使用mvn package...
Maven 打包可运行jar包
【设计改变世界】github地址：https://github.com/guochunyang2004
09-28 1万+
Maven可以使用mvn package指令对项目进行打包，如果使用Java -jar xxx.jar执行运行jar文件，会出现"no main manifest attribute, in xxx.jar"（没有设置Main-Class）、ClassNotFoundException（找不到依赖包）等错误。要想jar包能直接通过java -jar xxx.jar运行，需要满足：1、在jar包中的META-INF/MANIFEST.MF中指定Main-Class，这样才能确定程序的入口在哪里；
Maven打包可执行jar包方法大全
最新发布
qq_46312886的博客
08-04 471
可以将所有的东西都打包到一个jar包中。所有的东西都打到一个jar包中，很方便。
Maven 打包可执行jar
BoomLee的博客
11-06 278
只需要在pom.xml文件中配置以下内容，&lt;mainClass&gt;标签指定main方法即可 &lt;plugin&gt; &lt;groupId&gt;org.apache.maven.plugins&lt;/groupId&gt; &lt;artifactId&gt;maven-shade-pl...
使用Maven打包可执行jar
weixin_33937913的博客
11-09 122
SpringBoot工程 <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> <configuration> ...
maven打包可执行文件jar
qq_42476834的博客
09-09 149
maven打包可执行文件pom文件 springboot2.x maven项目打包官网 pom文件 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding> <java.
Maven打包可执行jar，同时指定依赖的jar
jcxch的专栏
01-04 804
在pom的plugins中配置 [html] view plain copy plugin>          groupId>org.apache.maven.pluginsgroupId>          artifactId>maven-compiler-pluginartifactId>          configuration>
maven打包项目为可执行jar
XLJavaHome的专栏
07-14 266
MAVEN打包项目为可执行jar 通过插件的形式可以实现打包成可执行jar。 利用shade插件进行打包 <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>3.1.
【Maven】maven打包生成可执行jar文件
zhao1949的专栏
05-12 428
http://blog.csdn.net/u013177446/article/details/53944424 ************************************************************ maven默认打包生成的jar是不能够直接运行的，因为在jar文件的META-INF/MANIFEST.MF文中没有Main-Class一行，为了生成可执行的j
MAVEN打包可运行jar包
gstszwx的博客
11-02 309
One-JAR有maven下的插件onejar-maven-plugin，所以对于maven的jar工程来说打包很方便。 pom.xml只需要加入以下plugin内容： org.apache.maven.plugins maven-jar-plugin com.test.Provider com.jolira onejar-maven-p
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

gmHappy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值