SparkR是AMPLab发布的一个R开发包，为Apache Spark提供了轻量的前端。SparkR提供了Spark中弹性分布式数据集（RDD）的API，用户可以在集群上通过R shell交互性的运行job。例如，我们可以在HDFS上读取或写入文件，也可以使用 lapply 来定义对应每一个RDD元素的运算。
|
1
2
3
|
sc <- sparkR.init(
"local"
)
wordsPerLine <- lapply(lines, function(line) { length(unlist(strsplit(line,
" "
))) })
|
除了常见的RDD函数式算子reduce、reduceByKey、groupByKey和collect之外，SparkR也支持利用 lapplyWithPartition 对每个RDD的分区进行操作。 SparkR也支持常见的闭包（closure）功能：用户定义的函数中所引用到的变量会自动被发送到集群中其他的机器上。参见一下例子中用户闭包中引用的 initialWeights 会被自动发送到集群其他机器上。
|
1
2
3
4
5
6
7
|
initialWeights <- runif(n=D, min = -
1
, max =
1
)
createMatrix <- function(line) {
as.numeric(unlist(strsplit(line,
" "
))) %*% t(initialWeights)
}
# initialWeights is automatically serialized
matrixRDD <- lapply(lines, createMatrix)
|
用户还可以很容易的在已经安装了R开发包的集群上使用SparkR。includePackage 命令用于指示在每个集群上执行操作前读取开发包。以下是个例子：
|
1
2
3
4
5
6
|
generateSparse <- function(x) {
# Use sparseMatrix function from the Matrix
package
sparseMatrix(i=c(
1
,
2
,
3
), j=c(
1
,
2
,
3
), x=c(
1
,
2
,
3
))
}
includePackage(sc, Matrix)
sparseMat <- lapplyPartition(rdd, generateSparse)
|
下面介绍如何安装SparkR
第一步，安装R
参考http://www.myexception.cn/linux-unix/680876.html
由于安装R依赖比较多，故利用iso文件创建本地yum源，见后【一】利用iso镜像文件创建本地yum源
1.1 安装依赖
|
1
2
3
4
5
6
7
8
9
10
11
12
|
yum install gcc
yum install gcc-c++
yum install gcc-gfortran
yum install pcre-devel
yum install tcl-devel
yum install zlib-devel
yum install bzip2-devel
yum install libX11-devel
yum install readline-devel #否则报”–with-readline=yes (
default
) and headers/libs are not available”错误
yum install libXt-devel #否则报”configure: error: –with-x=yes (
default
) and X11 headers/libs are not available”错误
yum install tk-devel
yum install tetex-latex
|
1.2 下载源码，编译安装R
下载http://mirror.bjtu.edu.cn/cran/src/base/R-3/R-3.1.1.tar.gz
|
1
2
3
4
|
cd /softwares/R
tar -zxvf R-
3.1
.
1
.tar.gz
./configure --enable-R-shlib （如果使用rJava需要加上 --enable-R-shlib）
make && make install
|
第二步，安装rjava
参考 http://www.geedoo.info/page/3
在联网的情况下，可以进入R命令，安装rJava包：
|
1
|
install.packages(“rJava”)
|
如果待安装机器不能上网，可以将源文件下载到本地，然后通过shell命令R CMD INSTALL ‘package_name’来安装：
|
1
|
R CMD INSTALL “rJava_0.
9
-
5
.tar.gz”
|
下载 rJava_0.9-6.tar.gz http://cran.r-project.org/web/packages/rJava/
|
1
2
|
cd /app/softwares/R
R CMD INSTALL
"rJava_0.9-6.tar.gz"
|
第三步，安装sbt
下载 http://www.scala-sbt.org/download.html
参考http://www.scala-sbt.org/0.13/tutorial/Manual-Installation.html 进行安装
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
cd /softwares/sbt
unzip sbt-
0.13
.
5
.zip
cp sbt/sbt/bin/sbt-launch.jar ~/bin
vi2 ~/bin/sbt
SBT_OPTS=
"-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar `dirname $
0
`/sbt-launch.jar
"$@"
chmod u+x ~/bin/sbt
[root
@cnsz131016
~]# mkdir -p /root/.ivy2/local/org.scala-sbt/sbt/
0.13
.
5
/jars/
[root
@cnsz131016
~]# cp /tmp/sbt.jar /root/.ivy2/local/org.scala-sbt/sbt/
0.13
.
5
/jars/
[root
@cnsz131016
~]# sbt
Getting org.scala-sbt sbt
0.13
.
5
...
:: retrieving :: org.scala-sbt#boot-app
confs: [
default
]
1
artifacts copied,
0
already retrieved (20kB/69ms)
Error during sbt execution: No Scala version specified or detected
|
由于无法连接外网，所以没有安装成功。
第四步，安装 SparkR
下载 SparkR （http://amplab-extras.github.io/SparkR-pkg/）
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
mkdir SparkRInstall
cp amplab-extras-SparkR-pkg-e1f95b6.tar.gz SparkRInstall
cd SparkRInstall
tar -zxvf amplab-extras-SparkR-pkg-e1f95b6.tar.gz
cd amplab-extras-SparkR-pkg-e1f95b6
sh install-dev.sh
[root
@cnsz031907
amplab-extras-SparkR-pkg-e1f95b6]# ./install-dev.sh
* installing *source*
package
‘SparkR’ ...
** libs
** arch -
./sbt/sbt assembly
Attempting to fetch sbt
curl: (
6
) Couldn
't resolve host '
typesafe.artifactoryonline.com'
curl: (
6
) Couldn
't resolve host '
repo.typesafe.com'
Launching sbt from sbt/sbt-launch-
0.12
.
4
.jar
Error: Invalid or corrupt jarfile sbt/sbt-launch-
0.12
.
4
.jar
make: *** [target/scala-
2.10
/sparkr-assembly-
0.1
.jar] Error
1
ERROR: compilation failed
for
package
‘SparkR’
* removing ‘/app/SparkRInstall/amplab-extras-SparkR-pkg-e1f95b6/lib/SparkR’
|
由于连不上网，不能直接编译sparkR，故在能联网的机器上对SparkR进行编译，之后再上传使用sbt编译后的包。上传编译后的包之后，使用以下命令进行安装：
|
1
|
sh install-dev.sh
|
修改R权限，使所有人都可读
|
1
|
chmod
755
-R /usr/local/lib64/R /usr/lib64/R /usr/local/bin/R
|
执行示例：
|
1
2
3
4
5
6
7
8
9
10
11
|
[hadoop
@cnsz031907
SparkR-pkg]$ ./sparkR examples/pi.R local
WARNING: ignoring environment value of R_HOME
Loading required
package
: methods
Loading required
package
: rJava
[SparkR] Initializing with classpath /app/SparkRInstall/SparkR-pkg/lib/SparkR/sparkr-assembly-
0.1
.jar
14
/
09
/
10
17
:
08
:
44
INFO Slf4jLogger: Slf4jLogger started
100000
100000
Pi is roughly
3.13832
Num elements in RDD
200000
|
修改PATH和CLASSPATH，方便之后使用：
|
1
2
3
4
5
6
7
8
|
chmod
755
-R /app/SparkRInstall/
chown -R hadoop:hadoop /app/SparkRInstall/
ln -s /app/SparkRInstall/SparkR-pkg /app/sparkR
vi2 /etc/profile
export SPARKR_HOME=/app/sparkR
export PATH=$PATH:$SPARKR_HOME/
source /etc/profile
|
修改sparkR.profile的权限，因为该文件需要所有用户都可读写。
|
1
|
chmod
777
/tmp/sparkR.profile
|
【一】利用iso镜像文件创建本地yum源
1. 创建iso存放目录和挂载目录
|
1
2
|
mkdir /app/iso
mkdir /app/cdrom
|
2. 将iso镜像文件上传到/app/iso文件夹下
3. 将/app/iso/下的iso文件挂载到/mnt/cdrom目录
|
1
|
mount -o loop /app/iso/rhel-server-
6.5
-x86_64-dvd.iso /app/cdrom
|
注：挂载完之后对其操作会提示设备繁忙，此时需要umount解开挂载才行
查看是否挂载成功： df -h <用来查看系统中所有挂载的，mount也可以
4.<最关键的一步>如果/etc/yum.repos/下面有其它的*.repo文件，先创建个文件夹，将这些*.repo先转移到文件夹中，自己写一个.repo的文件
|
1
2
|
mkdir /etc/yum.repos.d/bak
mv *.repo /etc/yum.repos.d/bak
|
然后创建自己的.repo文件 vi myself.repo 内容如下：
|
1
2
3
4
5
6
7
8
9
10
|
[base]
name=RedHat
#注：这里的baseurl就是你挂载的目录，在这里是/mnt/cdrom
baseurl=file:
///app/cdrom
#注：这里的值enabled一定要为
1
enabled=
1
gpgckeck的值无所谓
gpgckeck=
0
#注：这个你cd /mnt/cdrom/可以看到这个key，这里仅仅是个例子
gpgkey=file:
///app/cdrom/RPM-GPG-KEY-redhat-release
|
5. 测试：
|
1
2
|
yum clean all
yum install gcc-gfortran
|
扫一扫
4370
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
