spark
wangmm0218
暂无
展开
-
RDD
RDD是什么东西?在Spark中有什么作用?如何使用? 1、RDD是什么(1)为什么会产生RDD?传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点,但是其最大缺点是采用非循环式的数据流模型,使得在迭代计算式要进行大量的磁盘IO操作。RDD正是解决这一缺点的抽象方法 (2)RDD的具体描述RDD(弹性数据集)是Spark提供的最重要的抽象的概念,它是一种有容错机制的特殊集合,可以分转载 2014-07-19 13:41:41 · 7910 阅读 · 0 评论 -
Spark伪分布式安装(不依赖hadoop)
上传包: 解压 并重命名: 进入spark100目录: 修改配置: Cd conf 启动: 出错: 。bash_profile中有配置java_home: 最后通过在spark_env.sh中增加 解决了错误。 页面效果: 进入spa原创 2014-07-11 14:57:15 · 10905 阅读 · 0 评论