spark
文章平均质量分 63
qiumianderen5
这个作者很懒,什么都没留下…
展开
-
hadoop-2.2.0的环境下对 spark-1.3.1 的编译
本次安装环境为Ubuntu-14.04,hadoop环境为2.2.0 1.使用的是mvn进行编译,所以首先需要安装好maven 使用mvn命令查看 maven是否安装,没有安装的话,请自行百度:ubuntu maven安装 2.去官网下载相应的源码包: 我下载的是1.3.1版本的源码,如果不想自己编译,也可以选择和你本机hadoop对应版本的spark预编译版本。原创 2015-05-14 00:28:18 · 656 阅读 · 1 评论 -
快学Scala 第五张答案
1.改进5.1节的Counter类,让它不要在Int.MaxValue时变成负数class Counter { private var value = 0 def increment() {if(value < Int.MaxValue) value+1 else value} def current() = value }2.编写一个BankAccount类,加入deposit和wit原创 2015-05-28 11:13:27 · 530 阅读 · 0 评论 -
Spark的安装
抽时间,说以下spark的安装吧,由于我编译的spark是基于scala-2.10.4的,所以为了统一,讲原来的scala-2.11改成scala-2.10.41.首先你要下载scala-2.10.4,然后在相应的位置解压安装,这里是解压在/usr/local/share/scala 文件夹中的,然后配置环境变量:sudo vim ~/.bashrc然后同时将之前我们编译的spark的路径也给配置进原创 2015-06-07 15:08:59 · 534 阅读 · 0 评论 -
Spark + Hadoop-2.2.0 伪分布环境下的环境搭建
上一次我介绍了,没有hadoop模式下的spark的安装,下面将要介绍基于hadoop伪分布模式下的spark环境的搭建,其中hadoop为hadoop-2.2.0的环境,系统为ubuntu-14.041.首先要确保spark已经成功解压安装,详情请查看上篇博文 http://blog.csdn.net/qiumianderen5/article/details/464008852.然后修改spa原创 2015-06-07 19:12:45 · 1009 阅读 · 0 评论 -
初学Spark
1.SparkContext类是Spark的关键类,SparkContext是Spark的入口,负责连接Spark集群,创建RDD,累积量和广播量等。从本质上来说,SparkContext是Spark的对外接口,负责向调用这提供Spark的各种功能。它的作用是一个容器。原创 2015-06-08 22:06:12 · 335 阅读 · 0 评论