【spark】spark2.1.1集群搭建

最新推荐文章于 2022-09-16 22:16:59 发布
最新推荐文章于 2022-09-16 22:16:59 发布
阅读量521 收藏 1
点赞数
分类专栏： 大数据 文章标签： spark 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ranran0224/article/details/73379443
版权
本文介绍了如何搭建Spark 2.1.1集群，包括在3台虚拟机上的基础网络配置、JDK安装、Master和Worker节点设置，以及环境变量配置。详细步骤包括在Master节点解压Spark，配置slaves文件，修改worker的spark-env.sh，以及可选的环境变量配置。监控页面可通过Spark的REST URL获取集群信息。
摘要由CSDN通过智能技术生成


安装版本：spark-2.1.1-bin-hadoop2.7.tgz

准备操作：创建3台虚拟机，构建基础网络、免密钥、时间同步、HOST配置。并且安装jdk：1.8

Master：node111

Worker：node112 、node113

一、解压

tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz


二、修改安装目录下/conf/下的配置文件

以下操作在node111上完成

1）slaves配置文件

cp slaves.template  slaves

进入slaves，默认为localhost，这个是伪集群。

修改成worker的host

vi slaves
删掉localhost
追加
node112
node113

2）spark-env.sh

改名

mv spark-env.sh.template spark-env.sh

修改 

vi spark-env.sh

export JAVA_H
最低0.47元/天 解锁文章
IT猫咪酱
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux安装Spark集群(CentOS7+Spark2.1.1+Hadoop2.8.0)
pucao_cug的专栏
05-16 2万+
Linux安装Spark(CentOS7+Spark2.1.1+Hadoop2.8.0)-v1.0.0版本号：CentOS7 Hadoop2.8.0 Spark2.1.1 Scala2.12.2 JDK1.8
图文+代码讲解spark-2.1.0集群搭建
RiverCode的博客
04-26 2233
图文+代码讲解spark-2.1.0集群搭建
spark2.1.0集群环境搭建
rainsunneau的专栏
09-09 281
下载spark2.1.0 下载源码编译或者直接下载对应版本的安装包，此处下载源码编译后发布包为： 准备三台Linux服务器           此处vmware虚拟三台机器，ip如下：           hadoop1:192.168.91.128  //master节点、slave节点           hadoop2:192.168.91.129  //slave...
Spark 集群搭建（完整）
beishanyingluo的博客
06-03 8844
1. Spark 集群结构 名词解释 Driver 该进程调用 Spark 程序的 main 方法, 并且启动 SparkContext Cluster Manager 该进程负责和外部集群工具打交道, 申请或释放集群资源 Worker 该进程是一个守护进程, 负责启动和管理 Executor Executor 该进程是一个JVM虚拟机, 负责运行 Spark Task 运行一个 Spark 程序大致经历如下几个步骤 启动 Drive, 创建 SparkContext Client
Spark2.1.1<Spark架构综述>
Gpwner的博客
06-30 603
内容来自书籍《Spark技术内幕：深入解析Spark内核架构设计与原理》spark架构如下图所示： Driver是用户编写的数据处理逻辑，这个逻辑中包含用户创建的SparkContext。SparkContext是用户逻辑与Spark集群主要的交互接口，它会和Cluster Manager交互，包括向它申请计算资源等。Cluster Manager负责集群的资源管理和调度，现在支持Standalo
spark-2.1.1-bin-hadoop2.7.tar.gz
11-02
总的来说，"spark-2.1.1-bin-hadoop2.7.tar.gz"提供了在Hadoop 2.7环境中运行Spark所需要的所有组件和配置，使得用户能够快速地搭建起一个大数据处理平台，进行高效的数据分析和处理工作。无论是数据科学家、开发者...
spark-2.1.1.tgz
04-28
Spark是Apache软件基金会下的一个开源大数据处理框架，以其高效、灵活和易用性著称。Spark 2.1.1是Spark的一个重要...通过这个tgz安装包，你可以轻松地在本地或集群环境中搭建Spark，从而利用其高效的数据处理能力。
Spark基础学习笔记06：搭建Spark On YARN集群
lwmzl00的博客
06-17 1135
零、本讲学习目标 学会搭建Spark On YARN模式的集群 能够将Spark应用程序提交到集群运行 一、Spark On YARN架构 Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己实现，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN很好地对每一个程序实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存储资源与计算资源。Spark On YARN模式与Standalone模
Spark基础学习笔记05：搭建Spark Standalone集群
lwmzl00的博客
06-17 1097
文章目录 零、本讲学习目标 搭建Spark Standalone模式的集群 能够启动Spark Standalone模式的集群 学会Spark应用程序的提交 Spark的两种集群运行模式：Spark Standalone模式和Spark On YARN模式。Standalone模式需要启动Spark集群，而Spark On YARN模式不需要启动Spark集群，只需要启动YARN集群即可。先来搭建Spark Standalone模式的集群。一、Spark Standalone架构 Spark Standal
spark-2.1.1-bin-hadoop2.7.tgz.7z
04-28
基于hadoop2.7.2，scala2.11的sparklinux软件包，解压到指定目录后即可使用，实测可行
spark2.1.1的源码包
06-17
spark的底层源码，版本2.1.1,可以解压后直接使用idea打开，特别注意：里面包含大量的maven依赖，初始加载时，时间较长。
Spark2.1下载包
04-13
spark大数据学习根本，SparkCore,SparkSQL,Spark2.1hadoop2.6压缩包，尽快下载
spark-2.2.1-bin-hadoop2.7.tgz
12-13
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
spark2.1.0-bin-hadoop2.7
07-06
spark-2.1.0-bin-hadoop2.7.tgz linux 安装文件 。
安装spark2.1.1
最新发布
m0_55834564的博客
09-16 1431
spark-2.1.1-bin-hadoop2.7.tgz，官网下载。注意：HDFS上的目录需要提前存在。
Spark-2.1.1概述
chennaihuan0842的博客
05-01 156
Spark 概述 Apache Spark是一个快速的、通用的集群计算系统。它提供了基于Java、Scala、Python和R语言的高级API，和一个支持通常的任务执行图的最佳化引擎。它也提供了一个丰富的较高层次的工具，包括用于SQL和结构化数据处理的Spark SQL，用于机器学...
Spark 2.1.1 快速开始
越努力越幸运的博客
03-05 295
官方文档地址 Spark 2.1.1 快速开始 本教程提供了使用Spark的快速介绍。我们将首先通过Spark的交互式Shell（使用Python或Scala）介绍API，然后说明如何使用Java，Scala和Python编写应用程序。请参阅编程指南以获取更完整的参考。 要遵循本指南，请先从Spark网站下载Spark的打包版本。由于我们不会使用HDFS，因此您可以下载适用于任何Hadoop版本的...
Spark2.1.1<性能调优Spark运行时jar从yarn端访问>
Gpwner的博客
06-19 3596
1.为什么要让运行时Jar可以从yarn端访问spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在每一次我们运行的时候，如果没有指定 spark.yarn.archive or spark.yarn.jars Spark将在安装路径下的Jar目录，将其所有的Jar包打包然后将其上传到分布式缓存（官网上的原话是：To ma
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值