![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式计算框架
starshine
在偷懒与努力中挣扎和徘徊
杂家对技术的研究应该更精确
展开
-
Spark:一个高效的分布式计算系统
原文地址:http://tech.uc.cn/?p=2116 使用的Spark版本较老,但是对理解基本概念非常有帮助。 概述 什么是Spark Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduc转载 2015-10-05 20:59:33 · 4474 阅读 · 0 评论 -
Mac 下使用Spark不能加载本地Hadoop库问题解决
在Mac上安装测试Spark时,在执行一个Job(用Python调用)时出现以下错误:Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 17/11/22 11:01:22 WARN util.原创 2017-11-22 11:17:41 · 1000 阅读 · 0 评论