Spark Standlone模式环境搭建

最新推荐文章于 2024-05-06 14:38:34 发布
最新推荐文章于 2024-05-06 14:38:34 发布
阅读量130 收藏
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gates0087/article/details/104152365
版权

  1. 设置配置文件$SPARK_HOME/conf/spark-env.sh

    $ cd $SPARK_HOME/conf
$ cp spark-env.sh.template spark-env.sh
$ vim spark-env.sh

    打开后搜索standalone关键字，如图所示：
    在这里插入图片描述
    添加以下内容，保存后退出

    SPARK_MASTER_HOST=hlsijx
SPARK_WORKER_CORES=2
SPARK_WORKER_MEMORY=1g

  2. 启动Spark

    $ cd ../sbin/
$ ./start-all.sh

    在这里插入图片描述
    此时可能会报“JAVA_HOME is not set”的错误，那就需要在sbin的目录下的spark-config.sh 文件下添加JAVE_HOME : export JAVA_HOME=/data/jdk1.8.0_111
    启动完成后如下图所示
    在这里插入图片描述

  3. 执行任务

    $ cd $SPARK_HOME/bin
$ spark-shell --master spark://hlsijx:7077

    执行完成后，可以通过http://ip:8080访问页面来查看执行情况
    在这里插入图片描述

senga07
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark概述与环境搭建（yarn|Standlone）
01-07
Spark在做数据的批处理计算，计算性能大约是Hadoop MapReduce的10~100倍，因为Spark使用比较先进的基于 DAG 任务调度，可以将一个任务拆分成若干个阶段，然后将这些阶段分批次交给 集群计算节点 处理。 MapReduce ...
Spark集群部署（standLone）模式
weixin_30652491的博客
01-24 159
安装部署： 1. 配置spark为1个master，2个slave的独立集群（Standlone）模式， 可以在VMWare中构建3台运行Ubuntu的机器作为服务器； master主机配置如下： vim /etc/hostname 编辑此文件，设置主机名为master vim /etc/hosts 编辑此文件，添加如下主机内容信息： 19...
Spark环境搭建（Stand alone模式 && Stand alone HA模式）
m0_48639280的博客
12-28 1437
Standalone模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。开启两个任务，就会在master进程中开启两个对应的 Driver，对应的Executor各自汇报给对应的Driver，Executor数量根据你任务情况而定。在 standalone 模式下， master进程和 worker进程是固定的。
搭建Spark Standalone集群
梁辰兴的博客
04-19 993
当应用程序运行时，Master会在集群中选择一个Worker进程启动一个名为DriverWrapper的子进程，该子进程即为Driver进程，所起的作用相当于YARN集群的ApplicationMaster角色，类似MapReduce程序运行时所产生的MRAppMaster进程。Spark Standalone集群使用Spark自带的资源调度框架，但一般我们把数据保存在HDFS上，用HDFS做数据持久化，所以Hadoop还是需要配置，但是可以只配置HDFS相关的，而Hadoop YARN不需要配置。
计算利器Spark——Spark的Standalone环境搭建及使用
干勾鱼的CSDN博客
12-05 1534
转载请注明出处：http://blog.csdn.net/dongdong9223/article/details/84836391 本文出自【我是干勾鱼的博客】 Ingredients： Java：Java SE Development Kit 8u162(Oracle Java Archive)，Linux下安装JDK修改环境变量 Scala：scala-2.12.7.tgz fo...
【大数据入门核心技术-Spark】（四）Spark Standlone模式安装
12-16 456
运行在一台计算机上的，通常是用来做测试。运行在一台计算机上的，通常是用来做测试。spark执行start-master.sh 报错java.lang.NoClassDefFoundError: org/apache/log4j/spi/Filter 解决方法：打开$(SPARK_HOME)/ect/spark-env.sh。在文档的合适位置（如开始几行）添加如下变量（其中hadoop换成自己的路径）export SPARK_DIST_CLASSPATH=$(/data/hdp/hadoop-3.2.1/b
82-Spark的StandLone模式调试
九师兄
07-04 1376
1。windows下测试Standlone模式，代码如下 object LocalCluster extends java.io.Serializable { def main(args: Array[String]): Unit = { System.setProperty("SPARK_HOME", "F:\\002-spark\\jiqun\\spark-2.1.1-
Spark 3.0.1环境搭建（stand alone模式）
xiaohu21的博客
09-16 1960
Spark 3.0.1环境搭建（stand alone模式） 1. 背景 Spark作为大数据分析处理引擎的准事实标准，本身并不能存储数据，只能做数据分析。 Spark的运行需要依赖资源调度和任务管理，Spark自带了一套资源调度和任务管理工具，运行stand slone模式时，就是采取这套工具。 Spark本身还可以运行在其他资源管理和任务调度平台上，如Yarn、Mesos、Kubernates容器等。 注意，本身Yarn和Spark内部的资源管理和任务调度也使用了容器技术，不过不是docker技术，但
Spark安装部署 ——一篇文章轻松学会三种Spark运行环境的搭建
春和的博客
05-20 1431
所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境 Spark的Standalone模式体现了经典的master-slave模式。 yarn模式就是将spark计算所需要的资源等的调度工作交由Yarn
spark2.4.0 伪分布式集群搭建 mac环境
大黄_sama
08-04 360
一、官网文档 https://spark.apache.org/docs/2.4.0/spark-standalone.html 二、技能标签 - 学会安装Spark 2.4.0 standalone模式环境安装 - Spark 集群环境maste，worker,history server 启动停止命令 - Spark master,worker,history server 配置和管理界面查看 - Spark shell 终端执行交互式命令，Spark shell 作业监控 - World.
Spark实战.docx
06-01
1. Spark是特性  高可伸缩性  高容错  于内存计算 2. Spark的生态体系（BDAS，中文:伯利克分析栈） ... Standlone （独立集群模式）  Spark on Yarn （Spark在Yarn上）  Spark on Mesos （Spark在Mesos）
Spark源码深度解读
11-29
Spark源码解读迷你 RDD、Spark Submit、Job、Runtime、Scheduler、Spark Storage、Shuffle、Standlone算法、Spark On yarn。。。
Spark下遥感大数据特征提取的加速策略
03-14
实验结果表明，在相同硬件环境、处理任务、 数据量的条件下，Spark处理遥感大数据的速度较单机模式下的处理遥感大数据提升了约2倍，基于Hadoop分布式文件系 统（HDFS）处理模式较Spark-standlone处理模式处理速度...
zcu102读写SD卡文件
03-04
博客配套源码 https://blog.csdn.net/botao_li/article/details/88101417
Spark 为什么比 Hive 快
JIE的博客
04-26 2157
由于 MapReduce 的特性，Hive 在处理大规模数据时可能会出现较高的延迟，因为它需要频繁地将数据写入和读取磁盘，Shuffle 操作会导致花费的时间代价比较大。那么在稳定性方面，Hive 优于 Spark，这是因为在 MR 任务中，数据总是按照块分片进行处理，每块数据都可以独立地读取和处理，并不需要将所有数据都加载到内存中，因此它对内存的需求远低于Spark。由于 Spark 使用的是内存计算，在处理大规模的数据时，需要足够的内存资源，否则可能会发生 OOM 或者导致计算速度非常缓慢。
Spark SQL编程初级实践
充满焦虑的大学生
04-30 1040
【代码】Spark SQL编程初级实践。
数据仓库——聚集
IT深耕十余载，大道之简
05-03 1118
聚集是指按照维度粒度、指标和计算元的不同，对底层的详细数据进行预处理的过程。这种预处理可能包括记录行压缩、表连接、属性合并等操作，目的是对数据进行相应的统计加工，如求和、求平均值等。聚集的结果是预先计算好的汇总数据，这些数据是根据用户可能的查询需求来计算的。
Spark使用Java读取Mysql
IT深耕十余载，大道之简
05-03 810
同时，处理敏感信息（如密码）时要特别小心，确保不要将敏感信息硬编码在代码中，而是使用环境变量或配置文件来管理这些敏感信息。在Apache Spark中使用Java来读取MySQL数据库中的数据，你需要使用JDBC（Java Database Connectivity）来连接MySQL，并且通常你会使用Spark的。你应该能够看到你的MySQL表中的数据被读取并显示在你的控制台或你选择的输出位置。首先，确保你的项目中包含了MySQL JDBC驱动和Spark SQL的依赖。不过，需要注意的是，
Spark面试整理-Spark和Flink的区别
最新发布
不务正业的猿
05-06 190
如果应用需要复杂的流处理、低延迟和高吞吐量，Flink可能是更好的选择。而对于批处理或对延迟要求不高的流处理任务，以及需要丰富生态系统和成熟稳定性的场景，Spark可能更加适合。Apache Spark和Apache Flink都是流行的大数据处理框架，但它们在设计理念、性能特性以及适用的使用场景上有所不同。也提供了丰富的API，包括DataStream API和Table API，同时有一定的机器学习和图处理的支持。适合于需要低延迟和高吞吐量的实时流处理应用，以及复杂的事件驱动应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值