Spark
文章平均质量分 73
hadoop2015
站在巨人的肩膀上继续前行着
展开
-
Spark的编译
由于Spark的运行环境的多样性,如可以运行在hadoop的yarn上,这样就必须要对Spark的源码进行编译。下面介绍一下Spark源码编译的详细步骤:1、Spark的编译方式:编译的方式可以参考官网:https://spark.apache.org/docs/latest/building-spark.html Spark的源码编译有三种方式: (1)SBT(简单构建工具)方式原创 2015-08-21 08:47:26 · 377 阅读 · 0 评论 -
spark1.3.1安装和集群的搭建
由于越来越多的人开始使用spark计算框架了,而且spark计算框架也是可以运行在yarn的平台上,因此可以利用单个集群,运行多个计算框架。这是一些大公司都是这么干的。好了,下面讲一下spark1.3.1是如何安装到集群上去的。 1、由于spark的计算框架依赖于scala,因此在安装spark之前,必须安装scala,于是通过网上下载scala-2.10.5.tgz软件包 (1)原创 2015-08-21 08:46:57 · 295 阅读 · 0 评论 -
大数据的成长历程
大数据是用scala语言,和java有些不同又比java强大,省去了很多繁琐的东西,scala中的的接口用trait来定义,不同于java的接口,trait中可以有抽象方法也可以有不抽象方法。scala中的方法中还可以定义方法,这在java中是从来没有的。大数据未来几年发展的重点方向,大数据战略已经在十八届五中全会上作为重点战略方向,中国在大数据方面才刚刚起步,但是在美国已经产生了上千亿的原创 2015-11-10 10:08:05 · 677 阅读 · 0 评论