Standalone模式:Standalone模式运行的Spark集群对不同的应用程序采用先进先出(FIFO)的顺序进行调度。默认情况下每个应用程序会独占所有可用节点的资源。
现在版本的SparkR只能运行在standalone模式下
问题1:安装问题
由于R涉及到Fortran语言,要下载gcc-gfortran包
安装步骤:1)将R-3.2.3.tar.gz解压 2)./configure 3)make 4)make install(这步可以没有) 5)配置环境变量 vi .bash_profile
./configure的时候会出现以下错误:
--with-readline=yes (default) and headers/libs are not available 这是由于需要依赖readline-devel包的缘故 yum install readline-devel即可
configure: error: cannot compile a simple Fortran program 这是由于需要依赖gcc-gfortran包的缘故 yum install gcc-gfortran即可
configure: error: --with-x=yes (default) and X11 headers/libs are not available 这是由于需要依赖libXt-devel包的缘故 yum install libXt-devel即可
以上步骤依赖了较多的包:①gcc ②gcc-c++ ③readline-devel ④gcc-gfortran ⑤libXt-devel
yum install libXt-devel
yum install readline-devel
yum install gcc
yum install gcc-c++
yum install gcc-gfortran
tar -zxvf R-3.2.3.tar.gz
cd R-3.2.3
./configure
make
问题2: