Spark真实生产环境出错

最新推荐文章于 2023-03-09 20:24:27 发布

weixin_34413065

最新推荐文章于 2023-03-09 20:24:27 发布

阅读量256

点赞数

文章标签：大数据 java scala

原文链接：https://my.oschina.net/u/4009325/blog/2960836

版权

2019独角兽企业重金招聘Python工程师标准>>>

com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.

获取正确的端口号
hdfs getconf -confKey fs.default.name

java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)[Ljava/lang/Object;

scala版本不一致，修改版本。

spark2 ---scala2.11.x 最高到2.11.x

使用maven的maven-shade-plugin插件时需要注意的一个问题

需要配置一个false

<plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <configuration>
                    <createDependencyReducedPom>false</createDependencyReducedPom>
                </configuration>
                <executions>
                    <execution>
                        <phase>package</phase>

mac进入Li

command + shift +g

转载于:https://my.oschina.net/u/4009325/blog/2960836