![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 91
安伦_Alan
随身笔记
展开
-
初识Spark 1.6.0
1、 Spark发展背景Spark由加州大学伯克利分校AMP实验室(Algorithms,Machines,andPeopleLab)以Matei为主的小团队使用Scala语言所开发,后期成立spark商业公司databricks,CEOAli,CTO Matei,后期愿景是实现databrickscloud。Spark是新一代基于内存迭代计算的、开源的、分布式的、并行的计算框架,抛去繁琐的原创 2016-03-03 14:51:23 · 691 阅读 · 0 评论 -
maven 3.3.9编译spark1.5.0 cdh5.5.1
1、下载spark源码解压到目录/usr/local/spark-1.5.0-cdh5.5.1,看看是否有pom.xml文件2、切换到目录/usr/local/spark-1.5.0-cdh5.5.1执行:编译spark源代码的时候,需要从网上下载依赖包,所以整个编译过程机器必须保证在联网状态。编译执行如下脚本:[hadoop@hadoop spark-1.5.0-cdh5.5原创 2016-03-14 13:29:13 · 818 阅读 · 0 评论