![](https://img-blog.csdnimg.cn/d524847fe2864deeb2fd3e616cd090d0.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
spark
文章平均质量分 84
本专栏讲演示如何在linux上安装部署spark。
编程爱
谦虚一点,多得一点。
展开
-
Spark环境搭建部署全流程(Linux),看这一篇就够了
本篇文章将给各位展示如何快速地在linux上搭建spark,本文搭建的环境为以下是我总结出的,如果是新手,请按流程走完,如果是有过搭建经验的,可根据所需点击相应链接。原创 2023-08-09 11:42:16 · 1284 阅读 · 0 评论 -
Anaconda安装教程
我参考这个博主,做出以下简单介绍。简单地讲,它就是一个开源的、专注于数据分析的Python发行版本,内部包含了包管理器conda常见软件库(包)python解释器等各种依赖项。优点conda自带丰富功能包,避免了频繁的pip操作;conda管理包的功能比pip更强,且支持多种语言;conda能为不同版本的库建立不同的虚拟环境,可以在不同环境间切换,而不像pip一样,所有的库(包括版本差异)都安装在同一个路径内;Anaconda自带python解释器和Spyder。原创 2023-08-09 11:37:22 · 898 阅读 · 0 评论 -
Spark Local 环境部署
本篇部署的spark模式是local模式,所以就只在node1机器上部署。食用之前,请确保安装了。原创 2023-08-09 11:37:51 · 501 阅读 · 0 评论 -
Spark StandAlone环境部署
在部署之前,需要明确集群的规划,即有多少台机子,每台机子上应该存放哪些进程。原创 2023-08-09 11:38:22 · 333 阅读 · 0 评论 -
standalone集群程序测试
4040是一个Application运行过程中临时绑定的端口,用于查看当前任务的状态。因此当程序运行结束时,4040会被注销,无法继续查看。此外,当同时运行多个Application时,4040会顺延到4041,4042……8080是standalone模式下master进程所在的端口,用于查看master的状态,这个是一个守护进程,程序运行结束后,它仍然存在。18080默认是历史服务器的端口,由于4040在程序运行完后会被注销,但我们又想查看某个程序的运行状态,可以通过18080去查看。原创 2023-08-09 11:39:56 · 104 阅读 · 0 评论 -
Zookeeper安装部署
概念:系统中某个节点发生故障,对整个系统的运行产生影响。如果master所在的节点发生宕机。没有进程来负责集群资源规划,整个集群也就无法获得资源去计算,则整个集群处于停滞状态。概念:简单来讲,Zookeeper最初是为了解决单点问题而存在的,现已成为分布式的集群化软件,主要为一些分布式软件应用提供一致性协调服务配置维护、域名服务、分布式同步、组服务等。特点:可以在多台服务器上部署,并协同组成分布式集群一起工作。场景。原创 2023-08-09 11:40:18 · 134 阅读 · 0 评论 -
Spark StandAlone HA 环境搭建
本篇将介绍如何快速搭建 Spark StandAlone HA环境,如果是一直跟着我的文章来到这的,就直接看下面内容即可。原创 2023-08-09 11:40:37 · 180 阅读 · 0 评论 -
Spark on YARN环境部署
前面我们安装了StandAlone HA模式的spark,但在企业中,最为常用的spark模式是Spark on YARN,如果你已经安装了StandAlone HA,不用担心Spark on YARN的部署需要从头来过,因为它的配置比较简单,所需要的部署条件在就已经满足了。如果你是或 是。原创 2023-08-09 11:41:02 · 477 阅读 · 0 评论 -
Spark on YARN两种运行模式的演示
前面搭建好了Spark on YARN环境,接下来自然要使用这个集群,发挥它的计算性能。和模式。简单来讲,Cluster模式适用于生产环境,稳定性高,通讯效率高,但日志查看不方便;Client模式的日志输出在客户端,查看方便,但其稳定性受客户端进程影响,不适于生产环境。本篇将演示两种运行模式提交程序的过程。原创 2023-08-09 11:41:39 · 371 阅读 · 0 评论 -
Spark on YARN环境部署(完整版)
本篇的环境是干净的,事先没有安装过spark。节点共有node1,node2,node3三台,已完成各种集群化准备。原创 2023-08-09 11:41:19 · 1311 阅读 · 0 评论