在R中运行Spark

Linux下安装R

1.        安装依赖

yum install gcc

yum installgcc-c++

yum installgcc-gfortran

yum installpcre-devel

yum installtcl-devel

yum installzlib-devel

yum installbzip2-devel

yum installreadline-devel

yum install libXt-devel

yum installtk-devel

yum installtetex-latex

为了防止devtools包装不上先安装这几个依赖

yum installlibcurl-devel

yum installopenssl-devel

yum installlibxml2-devel

yum installlibcurl libcurl-devel

2.        首先上传安装文件：R-3.2.4-revised.tar.gz

3.        解压文件：tar -zxvf R-3.2.4-revised.tar.gz

4.        进入R源文件目录：cd R-revised

5.        新建目录：mkdir -p /home/SparkRsoftware/R

6.        执行编译命令

./configure --prefix=/home/SparkR/software/R--enable-R-shlib

（--prefix是关键，R是自建文件夹）

配置通过，但是会产生如下warning：

configure:WARNING: you cannot build DVI versions of the R manuals

configure:WARNING: you cannot build DVI versions of all the help pages

configure:WARNING: you cannot build info or HTML versions of the R manuals

configure:WARNING: you cannot build PDF versions of the R manuals

configure: WARNING: you cannot build PDF versions of allthe help pages

这是缺少生成相应格式manuals的插件，如果有需要可以依次安装。

7.        make

8.        make install

9.        配置环境变量

vim .bash_profile

exportR_HOME=/home/SparkR/R-revised

export PATH=$PATH:$R_HOME/bin

source .bash_profile

10.    如果PDF没有装成功的话，图形只能从linux上下载到本地看了。所以再装PDF吧。

11.    安装成功。进入R命令行界面，可以操作。但是tab自动补全以及上下左右等方向键都无法使用。想着应该是./configure --with-readline=no --with-x=no惹的祸。因此重新安装了一下，这次在执行./configure命令前先执行了命令：

yum install readline-devel（解决错误“--with-readline=yes (default) and headers/libs are not available”）

yum install libXt-devel（解决错误“–with-x=yes(default) and X11 headers/libs are not available”）

12.    最终安装成功，并且tab自动补全等都有效。

13.    如何在浏览器即时看到所做的图：

l  secure里打开两个窗口

l  一个窗口里：cd 到有R图形pdf文件的文件下

l  执行python -mSimpleHTTPServer

l  别关掉，它会一直挂在那里

l  在另一个窗口，你就可以作图了，做完保存

l  随便打开一个浏览器输入url：你的机器名:8000

l  就可以看你你做的图了。

14.    写sh执行的R脚本时，脚本开头增加如下内容：

#!/home/SparkR/R-revised /bin/Rscript

/home/SparkR/R-revised /bin 为R的安装路径

测试：

为SparkR用户新建对/opt目录的操作权限

chown -R SparkR.SparkR /opt

cd /opt/script/R

vim t.R

#!/path/to/Rscript

x<-c(1,2,3)

y<-c(102,299,301)

model<-lm(y~x)

summary(model)

执行脚本

R CMD BATCH--args /opt/script/R/t.R

more/opt/script/R/t.Rout    #查看执行的结果

或者第二种方式

Rscript /opt/script/R/test.R    #结果直接输出到终端

15.    测试R的安装：

输入R回车，R成功启动

输入如下命令测试R

x <-c(1,2,5,7,9)

y <-c(2,4,7,8,10)

plot(x,y)

abline(lm(y~x))

title("回归图像")

安装Spark

安装R的依赖包

install.packages('rJava', dependencies=TRUE, repos='http://cran.rstudio.com/')

install.packages('devtools', dependencies=TRUE, repos='http://cran.rstudio.com/')

使用SparkR

libpath <- .libPaths()
libpath <- c(libpath, "/home/SparkR/spark-1.6.1-bin-hadoop2.6/R/lib")
.libPaths(libpath)
rm(libpath)
library(SparkR)

在Spark1.4.0以后已经内置了sparkr,直接调用就可以了