Spark
加油小松鼠
这个作者很懒,什么都没留下…
展开
-
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries
转载链接:http://mangocool.com/detail_1_1434528570810.html在已经搭建好的集群环境Centos6.6+Hadoop2.7+Hbase0.98+Spark1.3.1下,在Win7系统Intellij开发工具中调试Spark读取Hbase。运行直接报错:15/06/11 15:35:50 ERROR Shell: Failed to locate the w转载 2015-11-13 20:53:52 · 1610 阅读 · 0 评论 -
RDD.treeAggregate 的用法
原文链接:http://stackoverflow.com/questions/29860635/how-to-interpret-rdd-treeaggregateSpark 源码:GradientDescent 中的函数 runMiniBatchSGD下有如下一段代码:val (gradientSum, lossSum, miniBatchSize) = data.sample(false, m转载 2015-11-23 16:21:34 · 4071 阅读 · 0 评论 -
Spark使用经验分享
原博地址:http://dongguo.me/blog/2014/12/30/Spark-Usage-Share/Spark是一个基于内存的分布式计算engine,最近1-2年在开源社区(github)和工业界非常火,国内的一些公司也搭建自己的spark集群。典型的应用场景是大数据上的机器学习模型的训练以及各种数据分析。下面是我理解的spark的优势:1. Spark使得分布式编程更简单Spark将转载 2015-12-02 10:30:39 · 1150 阅读 · 0 评论