spark
文章平均质量分 88
-Heres-
他每做一件小事的时候,都像救命稻草一样抓着。有一天我一看,嚯,好家伙!他抱着的是已经让我仰望的参天大树了。
展开
-
spark集群的搭建
一、准备1.两台centOS安装好JDK1.72.将spark-1.6.1-bin-hadoop2.6.tgz上传到其中一台CentOS二、安装2.1、在根目录下,新建bigdata目录,并将spark的安装包解压到此目录下;mkdir /bigdatatar -zxvf spark-1.6.1-bin-hadoop2.6.tgz -C /bigdata2.2修改配置原创 2017-07-20 23:02:16 · 1043 阅读 · 0 评论 -
spark的算子
一、介绍每个spark应用程序包含一个驱动程序,这个驱动程序可以在集群中运行用户的main方法,可以执行各种各样的并行操作。Spark提供了最主要的抽象的是弹性的分布式的数据集(resilient distribute dataset,RDD)。RDD是一个在很多节点上的元素分区集合,可以被并行处理。RDD可以从HDFS中读取数据来创建RDD(或者通过hadoop支持的其他的文件系统),或者存原创 2017-08-08 10:25:56 · 487 阅读 · 0 评论 -
spark集群从HDFS中读取数据并计算
一、 对于安装有spark的集群的节点要做好时间同步问题,因为节点的心跳机制需要系统时间。解决办法一:通过securecrt同时向多个tab窗口发送相同的时间调整命令a.选择菜单栏View -->ChatWindows 对号,此时所有服务器连接下方应该有个空白的部分b.在空白的部分(Chat Windows)右键鼠标, 选上Send Chatto All原创 2017-07-27 21:54:32 · 28382 阅读 · 3 评论 -
spark集群时间同步问题
一、 对于安装有spark的集群的节点要做好时间同步问题,因为节点的心跳机制需要系统时间。解决办法一:通过securecrt同时向多个tab窗口发送相同的时间调整命令a.选择菜单栏View -->ChatWindows 对号,此时所有服务器连接下方应该有个空白的部分b.在空白的部分(Chat Windows)右键鼠标, 选上Send Chatto All原创 2017-07-27 21:57:26 · 1719 阅读 · 0 评论 -
spark集群上运行helloworld程序--WordCount
环境centOS6.5spark1.6利用idea编写WC程序创建maven项目File --> close Project -->Create New Project选择MavenNext,来到Maven项目最重要三个参数的设置页面,这三个参数分别为:GroupId, ArtifactId和Version为了更好的解释这三个字段,用Spark 1.原创 2017-08-27 13:34:00 · 4080 阅读 · 5 评论