最近开始学习spark,在windows上按照官方说明运行命令spark-shell进入到scala版本的spark shell时,出现了下面的问题:
Failed to initialize compiler: object scala.runtime in compiler mirror not found.
** Note that as of 2.8 scala does not assume use of the java classpath.
** For the old behavior pass -usejavacp to scala, or if using a Setting
** object programatically, settings.usejavacp.value = true.
出现这个问题的原因是2.8版本以上的scala将不再默认使用java的classpath.要解决这个问题,很显然,就是要在配置文件中添加使用java classpath的命令。
上网google方法后,终于找到完整可行的解决方案:
修改\bin\spark-class2.cmd文件下的内容(即添加下图中红色部分内容)
保存后,在cmd上运行bin\spark-shell命令,便可切换到scala版本下的shell
于是修改一下\bin\spark-class2.cmd:
rem Set JAVA_OPTS to be able to load native libraries and to set heap size
set JAVA_OPTS=%OUR_JAVA_OPTS% -Djava.library.path=%SPARK_LIBRARY_PATH% -Xms%SPARK_MEM% -Xmx%SPARK_MEM% -Dscala.usejavacp=true
值得一提的是,spark1.1.0版本发行包内的bin下包含很多个calss配置文件,如spark-class、spark-class.cmd、spark-class2.cmd,这3个文件内容不同。我曾尝试在其他两个文件中采用解决方案,但都无效。而至于为什么解决方案需要应用在spark-class2.cmd以及这3个文件到底实现怎样的功能又或者有怎样的联系,有待进一步的研究。