SparkR安装注意事项

系统环境为CentOS 6.5 + Spark 1.2.0。

1. 首先安装R，去官方网站下载R for linux源码，目前最新版为3.1.2，解压缩后在根目录执行./configure。

若出现错误“configure: error: --with-readline=yes (default) and headers/libs are not available”，

则执行yum install readline-devel安装readline-devel。

若出现错误“configure: error: –with-x=yes (default) and X11 headers/libs are not available”，

则执行yum install libXt-devel安装libXt-devel。

2. 编译R，执行make。编译成功后把bin目录加入环境变量。

3. 启动R,执行install.packages("rJava")安装rJava。

4. 下载SparkR，根据Hadoop及Spark版本编译SparkR

SPARK_HADOOP_VERSION=2.3.0 SPARK_VERSION=1.2.0 ./install-dev.sh

5. 编译完成后启动SparkR

本地模式启动：       ./sparkR

集群模式启动：       MASTER=spark://node1:7077 ./sparkR

设置Executor内存：MASTER=spark://node1:7077 SPARK_MEM=1g ./sparkR