R语言和大数据的结合

最新推荐文章于 2024-08-13 20:45:50 发布

程序猿广坤

最新推荐文章于 2024-08-13 20:45:50 发布

阅读量2.9k

点赞数 1

分类专栏：大数据编程语言 it资讯人工智能文章标签：大数据程序员编程语言 hadoop

本文链接：https://blog.csdn.net/bigagag/article/details/90313760

版权

本文介绍了如何在大数据环境中结合R语言进行数据分析。通过安装R3.1.0和配置相关依赖，如rJava、DBI、RSQLite等，以支持与大数据平台如Hadoop、ODPS的交互。特别地，文章提到了RODPS包的安装和使用，以及配置RStudio Server以在Linux上提供远程R服务。此外，还讨论了R与SparkR等大数据框架的整合，强调了R在大数据计算时代的演进。

摘要由CSDN通过智能技术生成

R还是把数据load到本地进行计算的，这样的方式在大数据时代多少显得落伍。目前R和hadoop结合的有hadoop、rhive、rhbase、sparkr等等，rhive和rodps采用的方法是类似的，用lib结合接口进行访问。

安装R语言

R3.3版本会出现各种so不存在的问题，退回去到R3.1版本时候就顺利安装。
在安装R环境之前，先安装好中文（如果没有的话图表中显示汉字成框框了）和tcl/tk包(少了这个没法安装sqldf)
sudo yum install fonts-chinese tcl tcl-devel tclx tk tk-devel -y
安装中文字体后重新加载 service xfs reload (不过在有台机器上总是失败，后来重启机器OK)
sudo service xfs reload
有些包会需要rgl，调用opengl的库，所以还要安装opengl包
sudo yum install mesa-libGLU mesa-libGLU-devel -y
sudo yum install gcc-gfortran gcc gcc-c++ readline-devel libXt-devel -y

wget --no-check-certificate
tar xvf R-3.1.0.tar.gz
./configure --enable-R-shlib=yes --enable-BLAS-shlib=yes --with-lapack --with-libpng --with-x=no --with-tcltk
sudo sh -c "make"
sudo sh -c "make install"

sudo R CMD javareconf JAVA_HOME=$JAVA_HOME