分布式计算框架
starshine
在偷懒与努力中挣扎和徘徊
杂家对技术的研究应该更精确
展开
-
Spark:一个高效的分布式计算系统
原文地址:http://tech.uc.cn/?p=2116使用的Spark版本较老,但是对理解基本概念非常有帮助。概述什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduc转载 2015-10-05 20:59:33 · 4481 阅读 · 0 评论 -
Mac 下使用Spark不能加载本地Hadoop库问题解决
在Mac上安装测试Spark时,在执行一个Job(用Python调用)时出现以下错误:Setting default log level to "WARN".To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).17/11/22 11:01:22 WARN util.原创 2017-11-22 11:17:41 · 1011 阅读 · 0 评论