![](https://img-blog.csdnimg.cn/20190918140053667.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
spark
专注Spark学习,从入门到精通,文章中包含作者从无到有的心血积累
我是搬砖工人
这个作者很懒,什么都没留下…
展开
-
Window10+Spark+IDEA 搭建本地开发环境
本文将简单搭建一个spark的开发环境,如下: 软件下载 1)操作系统:windows10 2)IDEA开发工具以及scala插件(IDEA和插件版本要对应) IDEA2018.3.5 下载地址https://www.jetbrains.com/ scala-intellij-bin-2018.3.7.ziphttp://plugins.jetbrains.com/p...原创 2019-12-18 18:36:01 · 1561 阅读 · 1 评论 -
Spark的yarn运行模式
目录 简介 yarn集群模式 yarn客户端模式 yarn-client和yarn-cluster的区别 简介 spark的yarn运行模式根据Driver在集群中的位置分成两种: 1)yarn-client客户端模式 2)yarn-cluster集群模式 yarn模式和standalone模式不同,standalone模式需要启动spark独立集群,这样SparkCo...原创 2019-12-18 15:39:03 · 511 阅读 · 0 评论 -
Spark集群搭建
环境装备 192.168.16.6 master 192.168.16.4 slave1 192.168.16.5 slave2 spark安装 在Master机器,上传spark安装包spark-2.4.3-bin-hadoop2.7.tgz,并将其解压到/home/spark目录下(根据实际情况定)。 #上传 [root@master software]# rz -y #解压 [...原创 2019-12-17 11:31:00 · 193 阅读 · 0 评论 -
Spark的standalone运行模式
目录 正文 简介 运行流程 总结 正文 spark的集群主要有三种运行模式standalone、yarn、mesos,其中常被使用的是standalone和yarn,本文了解一下什么是standalone运行模式,它的运行流程是怎么样的。 简介 standalone模式,是spark自己实现的,它是一个资源调度框架。这里我们要关注这个框架的三个节点: 1)client 2...原创 2019-12-18 14:58:10 · 1271 阅读 · 0 评论