![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
Lucy_Leezhi
这个作者很懒,什么都没留下…
展开
-
Spark,Hello World
首先下载Spark并解压缩到/apphome目录,/apphome/spark-1.6.1-bin-hadoop2.6 进入到这个目录后执行如下命令:bin/spark-shell Spark 启动成功。来实现第一个例子:在spark shell 中依次输入如下命令:val lines = sc.textFile("README.md") lines.count() lines.first()原创 2016-06-27 20:43:51 · 452 阅读 · 0 评论 -
Spark RDD 编程实例
Spark 最核心的概念就是RDD:弹性分布式数据集。RDD 是Spark 操作数据的一种抽象,本质是分布式数据集合。这种集合被分为多个分区,这些分区运行在集群的不同节点上。我们在Spark的shell 上执行的命令,会在每个分区上执行,最后将执行结果汇总起来就得到我们需要的结果。 根据是否需要立即计算,我们把RDD操作分为两种:转换操作和行动操作。 转换操作的RDD命令,并不会立即进行计算,而原创 2016-06-28 21:09:11 · 1632 阅读 · 0 评论 -
Scala Hello World
现在开始学习Scala。 在Ubuntu系统安装完jdk和Scala后,在shell 上执行scala 命令即可进入到scala 解释器 。 这里先来个hello world。 在解释器输入println(“Hello World”) 下面简单记录一下解释器常见用法: 当计算器使用。 这里有两点需要说明。 scala 解释器可以当作工业级的计算器使用,各种计算操作都可以实现。 每一原创 2016-08-29 10:11:17 · 535 阅读 · 0 评论