SPARK初接触

下载

官网下载 http://spark.apache.org/downloads.html

运行示例

./bin/run-example  SparkPi 10

此处一开始运行失败，提示
Error: A JNI error has occurred, please check your installation and try again
Exception in thread “main” java.lang.ArrayIndexOutOfBoundsException: 64
……
发现是环境变量配置问题，vim /etc/profile修改文件，配置环境变量,增加如下语句即可

export JAVA_HOME=/usr/lib/jvm/jdkx.x.x
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH  
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH 

然后source /etc/profile 一下使命令生效
（配置过程中出现问题，修改profile后只是在当前终端临时配置了环境变量，新的终端环境变量仍失效，解决办法——重启即可，另其他方法可参考http://www.cnblogs.com/tomato0906/articles/6048383.html）

scala

• 下载scala http://www.scala-lang.org/download/
  默认安装选项自动配置环境变量?
• 下载IDEA http://www.jetbrains.com/idea/
  • 启动失败，发现是openjdk-9的bug，于是使用
    update-alternatives --config java
    update-alternatives --config javac换成openjdk-8
• idea下载scala插件 Plugins,搜索Scala直接安装，插件中有scala和sbt