【Spark】- 单机模式部署

最新推荐文章于 2024-07-28 16:45:11 发布
最新推荐文章于 2024-07-28 16:45:11 发布
阅读量1k 收藏 1
点赞数 1
文章标签： 大数据 ui python
原文链接：https://my.oschina.net/yangzhiwei256/blog/3014302
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

单机部署：单台主机运行Spark,不依赖YARN、MESOS管理资源

Saprk版本：spark-2.2.1-bin-hadoop2.7

部署步骤：

  1. 解压Spark的二进制压缩包,最好配置环境变量

  2. 启动master节点：./sbin/start-master.sh

webUI访问端口：8080

Master默认监听端口：7077

  1. 启动woker节点：./sbin/start-slave.sh <master-spark-URL>

例如：start-slave.sh spark://debian:7077

参数：表示master节点的访问地址（注意host-ip映射）

  1. 连接单机Spark集群：spark-shell --master spark://debian:7077 （Spark Scala交互式开发环境，“:quit”退出）

  1. 单机提交Spark自带测试作业：计算PI

命令：spark-submit --class org.apache.spark.examples.SparkPi --master spark:// debian:7077 examples/jars/spark-examples_2.11-2.2.1.jar 100

Master UI界面介绍：

转载于:https://my.oschina.net/yangzhiwei256/blog/3014302

weixin_34113237
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark-单机部署（三）
weixin_45025143的博客
11-18 2284
Spark的windows、linux单机部署 1、windows单机部署   相信大多数同学用的都是windows系统，没错，我也是windows系统，主要是因为公司电脑安装了深信服的办公软件，但是这个不支持linux系统，所有我们公司都强制被使用win10。为了调试方便，还是习惯在电脑上装上单机Spark，好在Spark也支持win10。 废话不多说，我们开始哈。。。 1.1、安装Java环境   这里我们安装Java8，哎，这会是不是有同学问了现在Java15都有了我们为啥还用Java8了？❓❓❓
Linux部署Spark 本地模式
an13654067079的博客
11-07 1006
Linux部署
Spark Standalone模式部署
浅暖的博客
04-16 944
准备至少2台虚拟机，装好linux系统，我装的是Ubuntu20.04。
Spark三种运行模式（SparkShell使用）
m0_71010347的博客
06-19 1729
唯一不同的是，Spark Shell本身为集群的client提交方式运行，不支持cluster提交方式，即使用Spark Shell时，Driver运行于本地客户端，而不能运行于集群中。​ Driver为主控进程，负责执行应用程序的main()方法，创建SparkContext对象（负责与Spark集群进行交互），提交Spark作业，并将作业转化为Task（一个作业由多个Task任务组成），然后在各个Executor进程间对Task进行调度和监控。通常用SparkContext代表Driver。
Spark3.1.2单机安装部署
花菜回锅肉的博客
07-08 3593
spark3.1.2 单机安装部署 概述 Spark是一个性能优异的集群计算框架，广泛应用于大数据领域。类似Hadoop，但对Hadoop做了优化，计算任务的中间结果可以存储在内存中，不需要每次都写入HDFS，更适用于需要迭代运算的算法场景中。 Spark专注于数据的处理分析，而数据的存储还是要借助于Hadoop分布式文件系统HDFS等来实现。 大数据问题场景包含以下三种： 复杂的批量数据处理 基于历史数据的交互式查询 基于实时数据流的数据处理 Spark技术栈基本可以解决以上三种场景问题。 下载 下载
Spark-----第 2 章 Spark 部署模式
Wzideng@qq.com
07-11 688
Spark支持多种集群管理器，用于管理和调度Spark应用程序在分布式计算集群上的运行。以下是几个常用的Spark集群管理器：Apache Mesos：Mesos是一个通用的集群管理器，可以用于管理多种不同的计算框架，包括Spark。它提供了资源调度和任务管理的功能，并允许在共享资源的集群上同时运行多个应用程序。Apache Hadoop YARN：YARN是Hadoop生态系统的核心组件之一，它提供了资源管理和作业调度的功能。
kyuubi1.2.0基于spark3.1.2单机模式部署
qq_40367999的博客
05-31 1104
一、第一步编译 spark3.1.2、hadoop 3.0.0 、cdh6.0.1 hive版本默认2.3.7，使用hive2.1.1需要修改源码（在此不做赘述） 二、Spark配置 1、修改spark配置文件 cd /data12/spark3/conf cd /data12/spark3/conf # 把hive hdfs 相关配置文件的软连接构建起来 ln -s /etc/hive/conf/hive-site.xml hive-site.xml ln -s /etc/hive/con
spark-shell（pyspark）单机模式使用和编写独立应用程序
m0_68131322的博客
03-21 1629
我的是spark-3.3.3版本，日志文件名字为log4j2.properties.template，每个版本的日志文件名字不太一样，具体的，要按照自己安装的版本的日志文件来，复制日志文件。spark有四种部署方式：Local，Standalone，Spark on Mesos，Spark on yarn。进入python安装目录下的lib/site-packages目录下，使用pip下载安装pyspark，这里使用国内清华大学镜像网站。安装pyspark库成功后，重新运行代码，然后还是报错。
Spark Standalone单机模式环境搭建
weixin_41786879的博客
08-11 1766
Spark Standalone单机模式环境搭建
PySpark 单机版(含spark-submit)
yoshubom的专栏
10-04 1080
JDK 1.8 Python 3.7https://spark.apache.org/downloads.html https://archive.apache.org/dist/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz 检验Spark2 PySpark 开发 Spark2 单机版说明 由于是，所以本例的默认使用自带的和管理，且数据文件都存储在 例如执行 其就会在即下生成上面说到和在执行程序的当前路径下生成，不方便管理，需要指定一个集中的地方 示例程序
spark-3.1.3-bin-hadoop3.2.tgz
05-19
对于单机测试，可以使用本地模式。使用Spark时，你可以编写Python、Scala或Java代码来创建DataFrame、RDD，并利用Spark的并行计算能力处理大数据。 总之，Apache Spark 3.1.3 是一个强大且功能丰富的大数据处理工具...
spark之Standalone模式部署配置详解
08-29
Spark 之 Standalone 模式部署配置详解 Spark 是一个基于内存的集群计算引擎，它可以在多种模式下运行，包括本地模式、伪分布式模式、集群模式等。在这些模式中，Standalone 模式是 Spark 的自带模式，对于大多数...
spark-3.1.3-bin-without-hadoop.tgz
05-20
4. 启动Spark：可以启动单机模式，或者通过配置slaves文件启动集群模式。 在大数据处理中，Spark的主要优势在于其内存计算能力，相比于Hadoop MapReduce的磁盘I/O，Spark可以显著提升数据处理速度。Spark SQL提供了...
spark1.2.1常用模式部署运行
03-02
Spark 1.2.1常用模式部署运行 Spark 1.2.1 是 Apache Spark 项目的旧版本，但仍然具有重要的参考价值。本文档详细介绍了 Spark 1.2.1 在 standalone 集群模式和 on yarn 集群模式下的部署与运行方式。 Spark 版本...
Spark独立部署模式
10-09
Spark支持独立部署模式,包括一个Spark master进程和多个 Spark worker进程.独立部署模式可以运行在单机上作为测试之用，也可以部署在集群上.如果你打算部署在集群上,可以使用我们提供的部署脚本启动一个集群。
分布式系统常见软件架构模式
Ben的专栏
07-25 1022
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
消息队列-rabbitmq（生产者.消费者. 消息.可靠性）
最新发布
2202_75352238的博客
07-28 794
在我们 生产者发送消息到交换机的时候，假如 我们发送到交换机 ，但是 队列没有收到消息，会返回ack，发送到交换机，然后发送到队列，消费者没有接收到消息返回ack，但是发送到交换机失败，会返回nack。死信交换机 ，都是假如一个定时消息过期了，或者发送延迟消息我们直接把该消息传递到我们绑定的死信交换机中，跟上文 消息发送失败了返回rejct之后，消息发送到err交换机是两种不同的策略。当一条消息发送失败的时候，消费者重新尝试消费消息，达到我们重试的次数之后，消费者返回reject，mq直接删除消息。
Kafka知识总结（选举机制+控制器+幂等性）
月伴飞鱼
07-27 1017
其他Broker启动时也会在Zookeeper中创建临时节点，但是发现节点已经存在，所以它们会收到一个异常，意识到控制器已经存在，那么就会在Zookeeper中创建Watch对象，便于它们收到控制器变更的通知。他只能保证单分区上的幂等性，即一个幂等性Producer只能够保证某个topic的一个分区上不出现重复消息，无法实现多分区的幂等。控制器上保存了最全的集群元数据信息，其他所有 Broker 会定期接收控制器发来的元数据更新请求，从而更新其内存中的缓存数据。目前，当有新 Broker 启动后，它会在。
Spark内核解析：部署模式与Shuffle深度揭秘
书中详细介绍了Spark的不同部署模式，从基础的local模式到分布式部署的Spark Standalone、Spark on YARN等，对每个模式的配置、工作原理和内部消息机制进行了深入剖析。 在部署模式部分，书中的第3章详细阐述了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值