Spark中用scala编程解决指标计算模型

1.使用scala 2.11 编译工程会有问题：

• scala 2.11不支持这个make参数了，从项目目录下.idea文件夹下的scala_compile.xml文件和pom.xml中把这个参数去掉

[ERROR] scalac error: bad option: '-make:transitive'

2.用idea+maven+scala插件创建scala项目后，把项目打包成jar时，直接运行项目jar包会出现“XXX中没有主清单属性“的错误，其原因是maven打包时没把Main-Class打包到META-INF目录的MANIFEST.MF 的配置文件中，导致程序运行时找不到主程序。

解决方法：

需要在pom.xml文件中添加maven打可执行jar包的插件-将maven依赖的包一起打包进jar包

<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> <version>2.5.5</version> <configuration> <archive> <manifest> <mainClass>com.testscalajar.StreamingTest</mainClass> </manifest> </archive> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> </configuration> <executions> <execution> <id>make-assembly</id> <phase>package</phase> <goals> <goal>single</goal> </goals> </execution> </executions> </plugin>

maven用来编译Scala的插件在创建scala的maven项目时已经添加，其作用是编译项目中的scala文件：

<plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> <version>2.15.2</version> <executions> <execution> <goals> <goal>compile</goal> <goal>testCompile</goal> </goals> </execution> </executions> </plugin>

 

3.程序经过上面后生成package时，有时还会出现Cleaning up unclosed ZipFile for archive的错误，这是由于内存不够导致的。

解决办法：

一：右击package->选中下面截图所示选项

二：添加参数( -Xms1024m -Xmx1024m) 点击applay

 

再次生成package，问题解决。