sparkR
**码上人生**
在数据、代码中寻找诗和远方......
展开
-
sparkR处理Gb级数据集
spark集群搭建及介绍:敬请关注 数据集:http://pan.baidu.com/s/1sjYN7lF 总结:使用sparkR进行数据分析建模相比R大致有3-5倍的提升 查看原始数据集:通过iris数据集生成 [root@master data]#pwd /data [root@master data]#ls -lhsrt iris1g.txt 1.3G -rw-r-原创 2016-02-18 11:06:06 · 2309 阅读 · 0 评论 -
sparkR通过data.table中的fread函数读取大数据集
spark集群搭建及介绍:敬请关注 数据集:http://pan.baidu.com/s/1i4yMwHB 总结:sparkR通过data.table中的fread函数读取大数据集,相比于正常读取方式大致有3-5倍的提升;在重新处理大数据集是,最好重新登录R或者sparkR环境,因为建模或预测占用了大量的内存,不能及时释放。 查看原始数据集:通过iris数据集生成 [root@mas原创 2016-02-18 11:45:19 · 5147 阅读 · 2 评论