基于spark1.4.1的sparkR的实例操作

本文介绍了如何在Spark 1.4.1中使用SparkR进行实际操作,包括集群启动、加载依赖库、基础R语句、处理HDFS文件以及使用spark-sql查询Hive表。提供了详细的步骤和示例代码。
摘要由CSDN通过智能技术生成

[Author]: kwu 

基于spark1.4.1的sparkR的实例操作,sparkR的操作基本语法与R一致,其中添加了rJava、rhdfs、SparkR的依赖库的支持。


1、集群启动SparkR

输入 bdcmagicR

关于启动脚本的封装参看 : http://blog.csdn.net/bdchome/article/details/48092499



2、加载依赖库

library("rJava")
library("rhdfs")
library("SparkR")
按顺序依次加载


3、sparkR操作实例

1) 、基础的R语句

x <- 0
for(i in 1:100){
 x <- x&
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值