spark学习
阿卧
不懂就问,不会就学。好好做学问
展开
-
windows环境下安装spark
前言 花了近两周的时间学习了scala的语法,然后就迫不及待的想要玩一下spark的开发了。这里先介绍一下spark在windows环境下的安装步骤和方法。 因为spark大数据的计算肯定是基于分布式集群的方式才能发挥其巨大的作用,所以,在windows环境下学习大数据,只是纸上谈兵的方式。因为环境的限制,所以只能在现有的电脑上进行大数据的学习,先了解spark的API吧!先把原原创 2017-11-20 22:04:51 · 5471 阅读 · 0 评论 -
idea创建maven工程的spark项目
idea工具可以创建maven工程的spark项目,今天就试着做了一下,然后写了一个基于集合创建RDD的小的demo,并且遇到了不少的坑,在这里总结一下。创建maven工程的spark项目 这个项目是机遇scala语言进行开发的 下面是截图步骤 基于集合创建RDDobject RddBasedOnCollections { de原创 2017-12-17 17:36:00 · 1728 阅读 · 0 评论