大数据之Spark环境搭建

已于 2023-06-23 17:12:05 修改
阅读量795 收藏 1
点赞数
分类专栏： Spark 文章标签： spark 大数据 分布式
于 2023-03-19 21:09:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43339889/article/details/129655466
版权

文章目录

前言

Spark是Apache开源的最顶级的框架，具有高性能等特点，本文主要介绍Spark的环境搭建，虚拟机用的是前几篇文章中搭建的Linux系统的虚拟机，详情请看Linux系统环境搭建，
另外再加上Spark框架使用到的的软件包地址：Spark软件包下载链接、Anaconda环境包

一、Spark软件安装

（一）安装包上传并解压

只需要将安装包上传到node1即可，后续操作都在node1节点上

cd /export/software
rz 上传

在这里插入图片描述
解压，将安装包解压到/export/server文件夹中

tar -zxf spark-3.1.2-bin-hadoop3.2.tgz  -C /export/server/

在这里插入图片描述

了解本专栏 订阅专栏 解锁全文 超级会员免费看
敲键盘的杰克
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
Spark本地环境搭建（local模式）
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 4599
大数据实验教学系统Spark本地环境搭建（local模式）spark有以下几种运行模式，每种运行模式都有自己不同的优点和长处。了解Spark不同安装包之间的区别   安装和配置Spark环境（本地模式）   测试Spark安装是否成功。1、安装和配置Spark环境（本地模式）   2、测试Spark。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3   在本实验环境中，Spark安装包位于以下位置：/data/software/sp
保姆级丨Spark环境搭建
尼泊罗河伯的博客
07-31 2278
Apache Spark 是一种用于大数据工作负载的分布式开源处理系统。它使用内存中缓存和优化的查询执行方式，可针对任何规模的数据进行快速分析查询。
spark的安装与部署
weixin_65195823的博客
06-28 1万+
为了避免MapReduce框架中多次读写磁盘带来的消耗，以及更充分地利用内存，加州大学伯克利分校的AMP Lab提出了一种新的、开源的、类Hadoop MapReduce的内存编程模型Spark。一、spark是什么？Spark是一个基于内存的大数据并行处理框架，其最初由加州大学伯克利分校的AMP Lab研发，现已成为Apache软件基金会的顶级项目之一。Spark不仅提供了可扩展、高容错、高性能的分布式数据处理，还提供了内存级的数据处理。
Spark安装教程
最新发布
m0_74972727的博客
05-07 670
【代码】Spark安装教程。
Spark环境搭建
clear-ninghongkang的博客
04-17 740
Spark作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别看看不同环境下Spark的运行。
大数据 - Spark介绍和环境搭建
林元煌
03-11 2633
Spark简单介绍、本地运行模式 （单机）和spark standalone集群搭建
Python学习笔记——大数据之Spark简介与环境搭建
02-24
Spark是Apache顶级项目里面最火的大数据处理的计算引擎，它目前是负责大数据计算的工作。包括离线计算或交互式查询、数据挖掘算法、流式计算以及图计算等。核心组件如下：SparkCore：包含Spark的基本功能；尤其是...
大数据spark搭建，spark安装包
03-25
2. **配置环境变量**：在系统的环境变量配置文件（如Linux的`~/.bashrc`或`~/.bash_profile`）中添加SPARK_HOME，指向Spark的安装目录，并更新PATH变量，使命令行可以识别`spark-shell`等Spark命令。 3. **设置Java...
大数据技术开发环境搭建.docx
04-15
本教程涵盖了大数据技术开发环境的搭建，涉及多个重要组件，包括Hadoop、Spark、HBase、Hive等。以下将详细介绍这些技术的安装与配置过程。 首先，搭建开发环境通常从软件下载开始，这里可能包括虚拟机管理器（如...
大数据分布式集群环境搭建.docx
11-09
centos大数据分布式集群搭建，包含hadoop spark hbase hive solr elasticsearch redis zookeeper rocketmq mongodb mariadb storm kafka docker
spark本地安装教程
qq_41358574的博客
11-15 2207
你可以输入一条语句，pyspark会立即执行语句并返回结果，这就是我们所说的REPL（Read-Eval-Print Loop，交互式解释器），为我们提供了交互式执行环境，表达式计算完成就会输出结果，而不必等到整个程序运行完毕，因此可即时查看中间结果，并对程序进行修改，这样可以在很大程度上提升开发效率。32、Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。
大数据环境搭建——>Spark安装配置
08-03
大数据环境搭建——>Spark安装配置
spark环境搭建
cbb
10-13 450
前言 1.安装环境依赖 运行所需 Java、 scala 环境。 1.1 安装scala 先创建需要下载scala的目录 mkdir scala 下载scala wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz 解压安装 tar -zxvf scala-2.11.8.tgz vi /etc/profile 添加对应的配置，根据你安装scala 的位置来配置。 #scala export SCALA_HOME=/u
Spark在Win10下的环境搭建
热门推荐
海锋博客
03-08 3万+
前言本章将介绍如何在WIN10下实现spark环境搭建。本章概要1、版本说明2、环境准备：jdk配置；scala安装与配置；spark安装与配置；hadoop安装与配置；版本说明jdk：1.8scala：2.11.8spark：2.3.0hadoop：2.8.3环境准备jdk配置1、配置JAVA_HOME与Path：Path2、验证配置：scala安装与配置1、scala下载：访问官方地址http...
大数据环境搭建之Spark集群搭建
SuperMap技术控
06-14 4089
作者：Neshoir     Spark是大规模数据集处理的统一分析引擎，其具备批处理、实时数据分析、图计算、机器学习等能力。Spark的特点就是计算快，其计算尽可能的都会在内存里执行，执行任务基于DAG，提供丰富的编程模型接口，如scala，java，python，Spark应用支持运行于各个主流的资源调度平台之上，如Hadoop YARN、Messos、Kubernetes等，当然Spa...
大数据系列 | Spark安装与配置
woshinsy的博客
08-02 1048
Spark安装与配置
Spark各种模式的环境搭建及相关工作流程介绍
小简铺子
05-27 3220
1前言 本篇博客主要记录的是Spark的3种运行模式及对应的模式环境搭建过程和流程介绍。3种模式都是经过实践记录详细的操作过程和注意事项。 在进行环境的配置过程中，建议先理解每个模式下的工作流程，然后再进行环境搭建，这样容易加深理解。由于Spark on YARN是搭建在HDFS分布式环境下的，所以此处可以参考一下Hadoop环境搭建及相关组件的工作流程介绍进行环境搭建，对应的软件下载地址密码...
Spark环境篇下（二）
weixin_42814075的博客
06-28 239
接上篇，spark on windows 本篇讲继续介绍spark on linux环境配置
大数据spark集群搭建环境变量
03-29
在搭建大数据Spark集群时，需要设置以下环境变量： 1. SPARK_HOME：Spark的安装目录 2. HADOOP_HOME：Hadoop的安装目录 3. JAVA_HOME：Java的安装目录 4. PATH：将Spark和Hadoop的bin目录加入到PATH中，以便在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

敲键盘的杰克

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值