【Spark】
文章平均质量分 55
记录spark学习总结和工作中遇到的问题
玉成226
这个作者很懒,什么都没留下…
展开
-
Spark: 在master节点开启worker进程(将master当做slave节点来使用)
1. 进入master节点:spark2/conf然后:vi slaves 对其他的slave节点进行同样的操作。2. 开启spakr集群用spark-submit命令提交jar:3. jar成功提交后显示:开启的主节点和从节点:...原创 2018-04-15 11:51:36 · 3136 阅读 · 1 评论 -
六:Spark集群安装和部署
写在前面:1.我的系统配置:(1) 安装一个虚拟机:三个ubuntu16.04系统;(2) Master节点:内存分配2g;Slave1节点:内存分配512MB;Slave2节点:内存分配512MB;2. 安装路径:(1) Hadoop2.6.5:/usr/local/;(2) Spark2.6.0:/usr/原创 2018-01-14 14:38:18 · 2670 阅读 · 0 评论 -
一:hadoop和spark的区别
hadoop是基于磁盘的,它的运算结果保存在磁盘当中;而spark的运算是基于内存的。因此spark的运算速度是hadoop的100倍;即使在磁盘当中运算,spark也是hadoop的10倍左右,原因就是spark具有优秀的作业调度策略。故spark的速度快与hadoop的两个原因:(1)spark是基于内存,hadoop基于磁盘:在hadoop中HDFS用于数据的存储原创 2017-12-14 19:06:29 · 934 阅读 · 1 评论 -
二:Spark是什么?
(本人初次接触spark可能有些地方理解的不够到位,希望各位读者多多指正,对于不恰当的地方也会进行改进)一、spark:快速通用的大规模数据处理引擎。(想对spark的定义和特点有较具体的认识可参考其官方网站:http://spark.apache.org/)官方文档:二、spark的特点:1、速度快在上篇文章中已经提到过spark的计算速度快是基于两原因:一是:spar原创 2017-12-23 20:28:48 · 4542 阅读 · 1 评论 -
三:RDD介绍
(本人初次接触spark可能有些地方理解的不够到位,希望各位读者多多指正,对于不恰当的地方也会进行改进)1、RDD定义:是弹性分布式数据集,是分布到各个节点的数据集合,具有自动容错性、位置感知调度和可伸缩性等。2、RDD的特性:2.1 分区(partition)分区是RDD的基本组成单位(spark并行处理的基本单元),属于RDD的子集。每个分区的计算都是独立执行的,并且分布到原创 2017-12-23 22:12:28 · 586 阅读 · 0 评论