Spark Standalone单机模式环境搭建

已于 2022-08-23 15:56:53 修改
阅读量1.7k 收藏 6
点赞数 3
文章标签： spark 大数据 分布式
于 2022-08-11 18:11:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41786879/article/details/126290702
版权

Spark Standalone单机模式环境搭建

一、实验环境

  1. JDK版本：jdk1.8.0_171
  2. Spark版本：2.1.0，下载地址
  3. Linux操作系统：CentOS6.5

二、准备工作

  1. JDK安装，请参考《Hadoop2.7.3环境搭建之伪分布式》
  2. Spark安装包已上传至目录/tools（需事先创建）

三、安装部署

  1. 解压安装：进入tools下，执行如下命令：
    tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C /training/

    注意：由于Spark的脚本命令和Hadoop有冲突，只需在.bash_profile中设置一个即可（不能同时设置）

  2. 修改配置文件：spark-env.sh （事先不存在需要创建或者复制得到）

    export JAVA_HOME=/home/hadoop/software/jdk
export SPARK_MASTER_HOST=Master
export SPARK_MASTER_PORT=7077
#history 配置历史服务
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=/home/hadoop/software/spark/history"

      注意：history目录需要事先创建

    • 修改slaves文件，将localhost改成主机名：Master

    • 复制spark-defaults.conf.template为spark-defaults.conf，并添加如下内容

      spark.eventLog.enabled           true
spark.eventLog.dir               /home/hadoop/software/spark/logs

        注意：logs目录需要事先创建

      • 启动Spark：进入到安装目录下的sbin目录下，执行：
        ./start-all.sh

      • 启动Spark历史服务：进入到安装目录下的sbin目录下，执行：
        start-history-server.sh

      • 访问SparkUI：http://niit-master:8080
        在这里插入图片描述

      • 访问Spark历史服务：http://niit-master:18080
        在这里插入图片描述

      卢元东
      关注
      • 3
        点赞
      • 踩
      • 6
        收藏
        觉得还不错? 一键收藏
      • 1
        评论
      【大数据处理学习笔记】2.2 搭建Spark开发环境
      weixin_63745352的博客
      06-16 718
      Executor为应用程序运行在Worker节点上的一个进程，由Worker进程启动，负责执行具体的Task，并存储数据在内存或磁盘上。Spark-Shell是一个强大的交互式数据分析工具，初学者可以很好的使用它来学习相关API，用户可以在命令行下使用Scala编写Spark程序，并且每当输入一条语句，Spark-Shell就会立即执行语句并返回结果，这就是我们所说的REPL（Read-Eval-Print Loop，交互式解释器），Spark-Shell支持Scala和Python。
      Spark三种运行模式（SparkShell使用）
      最新发布
      m0_71010347的博客
      06-19 1820
      唯一不同的是，Spark Shell本身为集群的client提交方式运行，不支持cluster提交方式，即使用Spark Shell时，Driver运行于本地客户端，而不能运行于集群中。​ Driver为主控进程，负责执行应用程序的main()方法，创建SparkContext对象（负责与Spark集群进行交互），提交Spark作业，并将作业转化为Task（一个作业由多个Task任务组成），然后在各个Executor进程间对Task进行调度和监控。通常用SparkContext代表Driver。
      SPARK单机模式搭建(从零开始)
      热门推荐
      Gary,Done的专栏
      06-01 1万+
      博客原文 安利一篇我翻译的国外大牛的神经网络入门文章 因为是从零开始，所以本文将spark部署成单机模式，并且有些文件放到home的个人目录中，不过看下设置的环境变量的就可以知道，这些文件放那里其实是无所谓的 服务器环境为cenos，并且JDK已经正确安装，可通过jar命令是否可用来判断 $ jar Usage: jar {ctxui}[vfmn0PMe] [jar-file] [ma
      搭建 Spark 单机伪分布式环境
      qq_55944883的博客
      04-02 1849
      是配置分布式文件系统对于每个文件块的副本数量设置，默认为3,而 在伪分布式环境下设置为 1，因为只有一个节点。下载 Hadoop-2.7.7 安装包，解压至/home/hj/hadoop-2.7.7 文件夹。下载 Hadoop-2.7.7 安装包，解压至/home/hj/hadoop-2.7.7 文件夹。是配置默认文件系统所在的位置，将其中主机名替换为自 己的主机名称（框架中资源管理者的主机名，因为就一个节点，所以设置为当前主机名。为输出文件夹（是文件夹,不是文件！为输入文件夹（是文件夹,不 是文件！
      Spark环境搭建（本地模式）
      m0_48639280的博客
      12-27 1605
      前置环节介绍： node1：hadoop NN DN RM NM ，hive node2：hadoop SNN DN NM node3：hadoop DN NMlocal模式基本原理 本质：启动一个JVM Process进程(一个进程里面有多个线程)，执行任务Task、 Local模式可以限制模拟Spark集群环境的线程数量，即local[a]或local[*]其中N代表可以使用N个线程，每个线程拥有一个cpu core。如果不指定N。则默认一个线程（该线程有一个core），通常CPU有几个core，就指
      Spark的StandAlone模式环境搭建
      Jafey的博客
      02-14 712
      1.简介 Spark是一个类似于MapReduce的分布式计算框架，其核心是弹性分布式数据集，提供了比MapReduce更丰富的模型，可以在快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘算法和图形计算算法。 Spark Streaming是一种构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力。 初步学习以后，SparkStreaming还是比较容易上手的，使
      Spark环境搭建——standalone集群模式
      01-07
      这篇博客，Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。 文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试 集群角色介绍  Spark是基于内存计算的大数据并行计算框架，...
      spark之Standalone模式部署配置详解
      08-29
      Standalone 模式是 Spark 的自带模式，它可以在单机或集群环境中运行。在 Standalone 模式下，Spark 可以在本地或远程机器上运行，且可以使用 ZooKeeper 实现高可用性。 准备工作 在部署 Spark 之前，需要进行以下...
      Spark实验：Standalone模式安装部署（带答案）1
      08-03
      1. 实验描述：本实验旨在搭建一个基于Standalone模式的Spark集群，包括解压安装包、配置环境变量、启动集群及验证安装效果。 2. 实验环境：使用3台虚拟机，操作系统为Centos 7.5，Hadoop版本为2.7.3，Spark版本为...
      Spark Standalone 单机版部署
      10-17
      Spark standalone 单机版部署，看了网上很多方法，事实证明都是错误的，本人亲身经历，在导师的指导下，成功配置成功单机版。
      spark环境搭建
      01-22
      Spark 环境搭建 Spark 环境搭建是指在本地机器上安装和配置 Spark 相关组件，以便进行 Spark 的学习和开发。本文将指导读者从头开始搭建 Spark 环境，包括 JDK 安装、Spark 下载、Scala 安装、Hadoop 安装和 Spark ...
      Spark 单机搭建实战指南
      wcuu的博客
      12-14 791
      在 Hadoop 的基础上，Spark 优化了 MapReduce 计算模型，提高了数据处理速度，被广泛应用于大数据处理、机器学习、图计算等领域。本文详细介绍了在单台机器上搭建 Spark 分布式计算框架的过程，包括环境准备、安装配置和运行测试等步骤。通过本文的实践，读者可以掌握 Spark 的基本使用方法，为后续的大数据处理和分布式计算打下基础。摘要：本文将详细介绍如何在单台机器上搭建 Spark 分布式计算框架，涵盖环境准备、安装配置、运行测试等多个方面，帮助读者轻松上手 Spark 开发。
      搭建Spark单机版环境
      m0_59791585的博客
      06-16 2384
      3
      Spark 单机版环境版的简单操作
      梁辰兴的博客
      03-29 693
      虽然你可以在任何时候定义新的RDD，但Spark 只会惰性计算这些RDD。比如，看看例2 和例3，我们以一个文本文件定义了数据，然后把其中包含spark的行筛选出来。相反， 一旦Spark 了解了完整的转化操作链之后，它就可以只计算求结果时真正需要的数据。事实上，在行动操作first() 中，Spark 只需要扫描文件直到找到第一个匹配的行为止，而不需要读取整个文件。另一方面，行动操作会对RDD 计算出一个结果，并把结果返回到驱动器程序中，或把结果存储到外部存储系统（如HDFS）中。执行：pyspark。
      Spark有几种部署方式？
      zy1992As的博客
      12-12 1614
      Standalone模式被称为集群单机模式。Spark框架与Hadoop1.0版本框架类似，本身都自带了完整的资源调度管理服务，可以独立部署到一个集群中，无需依赖任何其他的资源管理系统，在该模式下，Spark集群架构为主从模式，即一台Master节点与多台Slave节点，Slave节点启动的进程名称为Worker，此时集群会存在单点故障问题，后续将在Spark HA集群部署小节讲解利用Zookeeper解决单点问题的方案。lYarn Cluster：用于生产环境，所有的资源调度和计算都在集群上运行。
      Spark的部署模式
      卡卡的博客
      12-14 378
      Spark运行模式分为两种：本地模式和集群模式。同时也简单介绍了Driver和Executor作用
      spark-shell（pyspark）单机模式使用和编写独立应用程序
      m0_68131322的博客
      03-21 1669
      我的是spark-3.3.3版本，日志文件名字为log4j2.properties.template，每个版本的日志文件名字不太一样，具体的，要按照自己安装的版本的日志文件来，复制日志文件。spark有四种部署方式：Local，Standalone，Spark on Mesos，Spark on yarn。进入python安装目录下的lib/site-packages目录下，使用pip下载安装pyspark，这里使用国内清华大学镜像网站。安装pyspark库成功后，重新运行代码，然后还是报错。
      spark standalone模式
      03-16
      Spark Standalone 模式是一种 Apache Spark 的部署模式，它是 Spark 自带的一种部署方式。在这种模式下，Spark 的各个组件（如 Driver、Executor）都运行在同一个集群中，且由 Spark 自己的资源管理器进行资源的分配...
      评论 1
      添加红包

      请填写红包祝福语或标题

      个

      红包个数最小为10个

      元

      红包金额最低5元

      当前余额3.43元 前往充值 >
      需支付：10.00元
      成就一亿技术人!
      领取后你会自动成为博主和红包主的粉丝 规则
      hope_wisdom
      发出的红包
      实付元
      使用余额支付
      点击重新获取
      扫码支付
      钱包余额 0

      抵扣说明：

      1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
      2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

      余额充值