Spark
小A__
人生不就是写,写,写吗!!!
展开
-
Spark在Linux安装的单机--集群的不同安装模式步骤
本文包含三种模式安装:单机、Standalone、Yarn等 一、单机模式 1).下载spark2.1.2.tar.gz 2).解压安装: $>cd /home/hyxy/soft/ $>cp /mnt/hgfs/2.安装环境/download/apache-spark/spark-2.1.2-bin-hadoop2.7...原创 2018-08-27 21:29:26 · 343 阅读 · 0 评论 -
利用Spark对文件里的数字进行排序并输出(附例子)
说明:Sort3File文件夹有三个txt文件,现在对里面的数字进行升序输出 工具:IDEA,Spark编写 object SortFile { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("sort"); v...原创 2018-09-04 11:01:51 · 2432 阅读 · 0 评论 -
Spark的概念、集群管理器、存储层次
本文让我们来聊一聊Spark是什么,以及涉及到的相关概念 1.1 Spark是什么 Spark 是一个用来实现快速而通用的集群计算的平台。 在速度方面,Spark 扩展了广泛使用的 MapReduce 计算模型,而且高效地支持更多计算模 式,包括交互式查询和流处理。 Spark 的一个主要特点就是能够在内存中进行计算,因而更快。不过即使是必须在磁盘上 进行的复杂...原创 2018-08-29 22:52:27 · 459 阅读 · 0 评论