![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 72
老杨0511
人生应当精彩,拿酒来
展开
-
在Mac下配置Spark源码阅读环境
(by 老杨,转载请注明出处)一、本机环境 Macbook pro Retina Scala 11.4 Jdk 1.6.05(目前,在Mac下安装IDEA社区版本只支持jdk1.6版本) Git 2.2.0 准备就绪二、Spark源码编译 我下载的是1.1.1版本的源码,大概13原创 2014-12-16 21:24:11 · 2560 阅读 · 0 评论 -
Mac下安装Spark开发环境(Linux系统可参照)
之前一直使用VNC在远程集群上进行Spark程序开发,但是网络的不稳定以及集群时常升级让人头疼。在这里我在自己的Mac上搭建单机Spark开发环境,作为学习开发已经足够。Linux系统用户也可以参考。一、本机环境Macbook pro retina with 8G memory二、准备工作JDK 1.6.05Scala 11.4在Spark下载界面下载Spark原创 2015-01-10 14:24:15 · 10772 阅读 · 0 评论 -
Aprior并行化算法在Spark上的实现
本文为大家分享的Spark实战案例是K-频繁项集挖掘——Apriori并行化算法的实现。关联数据挖掘、频繁项集挖掘的常用算法有Apriori,Fp-growth以及eclat算法。这里我使用Apriori算法进行频繁项集挖掘。Apriori算法于2006年12月被国际权威的学术组织ICDM评为数据挖掘领域的十大经典算法。原创 2015-08-12 08:59:45 · 4611 阅读 · 0 评论