linode上快速建立Spark源码阅读环境

开发环境:

Fremont CA地区，linode 4096型主机，centos 6.5, 4核cpu, 4G内存，96GB的SSD盘, 40Gbit Network In, 512Mbit Network Out

------------------------------可直接执行的命令------------------------------------

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64

#安装桌面，开发工具，浏览器，输入法，中文语言包等 yum  install  java-1.7.0-openjdk-devel.x86_64 git tigervnc-server.x86_64 -y yum groupinstall -y  "Desktop"    "Desktop Platform"    "Desktop Platform Development" 　  "Fonts"  　 "General Purpose Desktop" 　  "Graphical Administration Tools" 　  "Graphics Creation Tools"  　 "Input Methods"  　 "X Window System"  　 "Chinese Support [zh]" 　 "Internet Browser"  "Development tools"    cd  /opt    #上传下载工具 wget --no-check-certificate https: //ohse .de /uwe/releases/lrzsz-0 .12.20. tar .gz tar  -xzvf lrzsz-0.12.20. tar .gz cd  lrzsz-0.12.20 . /configure  &&  make make  install cd  ../ rm  -rf lrzsz-0.12.20 lrzsz-0.12.20. tar .gz    wget http: //archive .apache.org /dist/maven/maven-3/3 .2.5 /binaries/apache-maven-3 .2.5-bin. tar .gz tar  -xzvf apache-maven-3.2.5-bin. tar .gz mv  apache-maven-3.2.5 maven rm  -rf apache-maven-3.2.5-bin. tar .gz    wget http: //www .scala-lang.org /files/archive/scala-2 .10.3.tgz tar  -xzvf scala-2.10.3.tgz ln  -s scala-2.10.3 scala rm  -rf scala-2.10.3.tgz    #安装R和R的依赖 wget http: //cran .cnr.berkeley.edu /src/base/R-3/R-3 .2.0. tar .gz tar  -xzvf R-3.2.0. tar .gz cd  R-3.2.0 yum  install  readline-devel libXt-devel gcc gcc-c++ gcc-gfortran -y . /configure make make  install cd  ../ rm  -rf R-3.2.0. tar .gz R-3.2.0    alias  cp = 'cp' cp  -f  /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime    echo  " export  JAVA_HOME= /usr/lib/jvm/java-1 .7.0-openjdk.x86_64 export  CLASSPATH=.:\$JAVA_HOME /lib .tools.jar export  PATH=\$JAVA_HOME /bin :\$PATH export  MAVEN_HOME= /opt/maven export  PATH=\$PATH:\$MAVEN_HOME /bin export  SCALA_HOME= /opt/scala export  PATH=\$PATH:\$SCALA_HOME /bin " >>  /etc/profile source  /etc/profile    #下载IDEA wget http: //www .gtlib.gatech.edu /pub/eclipse/technology/epp/downloads/release/luna/SR2/eclipse-java-luna-SR2-linux-gtk-x86_64 . tar .gz tar  -xzvf eclipse-java-luna-SR2-linux-gtk-x86_64. tar .gz wget http: //download .jetbrains.com /idea/ideaIC-14 .1.1. tar .gz tar  -xzvf ideaIC-14.1.1. tar .gz    #用mvn编译并安装spark export  MAVEN_OPTS= "-Xmx3g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" git clone https: //github .com /apache/spark .git cd  spark build /mvn  install  -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Psparkr -Phive -Phive-thriftserver -DskipTests    #如果相关要打Spark的发布包，像直接在Spark官网上下载spark-1.3.0-bin-hadoop2.4.tgz预编译版一样，可执行make-distribution.sh . /make-distribution .sh --tgz -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Psparkr -Phive -Phive-thriftserver -DskipTests

 -----------------------------------需要手动参与配置的环境----------------------------------

#配置vnc，输入法

通过vncserver命令设置vnc登陆密码

在本地windows机器下载：http://tigervnc.sourceforge.net/tiger.nightly/viewers/vncviewer64.exe

用vncviewer64.exe登陆远程机器，vncserver地址形如ip:1

登陆图形界面之后，在桌面图形界面System菜单中设置中文输入法：

System/Preferences/Input Method/Enable input method feature/Use IBUS(recommanded)/Input Method Preferences/Input Method/Select an input method/Chinese/Pinyin/Add/Close/Close

 

#配置firefox flash

在 http://get.adobe.com/cn/flashplayer/ 下载 install_flash_player_11_linux.x86_64.tar.gz

在下载目录执行：

tar  -xzvf install_flash_player_11_linux.x86_64. tar .gz cp  libflashplayer.so   /usr/lib64/mozilla/plugins rm  -rf install_flash_player_11_linux.x86_64. tar .gz LGPL/ libflashplayer.so readme.txt usr/ cd  /usr/lib64/mozilla/plugins chmod  755 libflashplayer.so

重启系统，使时区，输入法等系统配置生效。

 

#在IDEA中导入spark代码

在IDEA安装目录的bin目录下执行sh idea.sh

在IDEA配置界面中选择安装scala插件， IDEA中导入spark源码, 类型选择maven, 导入模块选项中对下面模块打勾 yarn, hadoop-2.4, sparkr, hive-provided, hive-thriftserver，这些模块与build/mvn时-P参数的模块和版本要一致。

然后IDEA开始自动导入spark工程源码（需要一段时间）。

在菜单File->Settings->Build,Execution,Deployment->Build Tools->Maven->Importing中选择Import Maven projects automatically。在VM options for importer中设置为“-XX:MaxPermSize=1g -XX:ReservedCodeCacheSize=512m”

导入完毕后在IDEA菜单View/Tool Windows/Maven Projects中执行小窗口上面第二个图标显示文字为Generate Sources and Update Folders for All Projects的按钮，生成Spark工程所需的临时生成的源代码（需要一段时间）。

执行完毕后在IDEA菜单Build中执行Rebuild Project（需要一段时间）。

执行完毕如果Build信息窗口没有错误则代码阅读环境已经正确建立。如果在scala代码文件中显示有错误，但错误出现在注释信息中，并且提示是”Cannot resolve symbol xxx“，则不算错误，不影响阅读和代码编译，不用理会。