【Spark】（一）spark安装配置

最新推荐文章于 2022-11-23 21:52:02 发布
最新推荐文章于 2022-11-23 21:52:02 发布
阅读量278 收藏
点赞数 1
分类专栏： Spark 文章标签： spark Spark安装配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qianchun22/article/details/109384650
版权
本文详细介绍了如何在Linux环境下安装配置Scala和Spark，包括下载安装包、解压、环境变量配置以及安装成功的检测。此外，还提供了Spark的本地模式、Standalone模式和YARN模式的运行方式，特别强调了在单机模式下的配置实践。
摘要由CSDN通过智能技术生成

一、前提

安装jdk

scala、spark版本号：
scala scala-2.11.12
spark spark-2.4.5

安装包下载地址：
https://pan.baidu.com/s/1Lq5odbQiYdSpkqbyRX8Fww)
提取码：w2xv

二、安装配置scala

1、下载并上传scala安装包至linux的software目录下

2、解压安装包至/opt目录下，并重命名为scala

tar -zxvf scala-2.11.12.tgz -C /opt/
cd /opt/
mv scala-2.11.12/ scala

在这里插入图片描述
在这里插入图片描述

3、修改环境变量

vi /etc/profile

在这里插入图片描述

//修改内容如下：
export SCALA_HOME=/opt/scala
export PATH=... :$SCALA_HOME/bin
最低0.47元/天 解锁文章
屡傻不改
关注
专栏目录
spark-2.4.5-bin-hadoop2.7.tar.gz
06-04
spark-2.4.5-bin-hadoop2.7.tgz的安装包,适用ubuntu，Redhat等linux系统，解压即可安装，解压命令：tar -zxvf spark-2.4.5-bin-hadoop2.7.tar.gz -C dst（解压后存放路径）
Spark-2.4.5官网下载源码包
10-29
在官网下载的Spark-2.4.5版本的源码包，可以利用源码包来学习这个版本和之前版本做出的相应改动和不同，也可以拿来编译成tar包供自己学习使用
Spark2.4.5集群安装与本地开发
chonywang的博客
05-15 1097
下载 官网地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz 验证Java是否安装 java -verisonJDK下载地址 解压安装 tar -zxvf jdk-14.0.1_linux-x64_bin.tar.gz mv jdk-14.0.1 /usr/local/java验证Scala是否安装 scala -verison wget https://downloads.ligh
spark-2.4.5编译支持Hadoop-3.3.1和Hive-3.1.2
RockJim的博客
08-28 3126
spark-2.4.5编译支持Hadoop-3.3.1和Hive-3.1.2
Spark中函数addFile添加tar包
lieying的博客
11-07 878
如果想在pyspark中 import tensorflow 来调用pb模型 分布式预测，那么将模型pb全部文件打包成tar包sc.addFile即可，spark会自动解析。
centOS7下Spark安装配置教程详解
09-15
在本文中，我们将深入探讨如何在CentOS7操作系统上安装和配置Apache Spark，这是一个流行的分布式计算框架。首先，我们需要确保我们的环境满足Spark的运行需求，包括Java Development Kit (JDK) 和Scala的安装。 1....
Spark实验：Standalone模式安装部署（带答案）1
08-03
4. Spark配置文件：如`spark-env.sh`、`slaves`，用于指定Spark集群的运行参数和从节点列表。 5. Spark Web UI的使用：提供可视化界面监控Spark集群状态和应用运行情况。 **四、实验步骤** 1. **解压Spark安装包**...
spark安装配置教程.docx
最新发布
07-15
#### 五、配置Spark配置文件 Spark的配置文件位于`$SPARK_HOME/conf`目录下。 1. **spark-env.sh**：用于设置Spark运行时的环境变量。可以复制`spark-env.sh.template`为`spark-env.sh`，并在其中添加需要的配置，...
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
#### 一、配置Spark ##### 1.1 配置Executor内存 Executor是Spark作业运行的基本单位，负责执行具体任务。合理配置Executor内存对提升性能至关重要： - **增加Executor内存**：有助于优化MapJoin等操作，但同时会...
单机伪分布hadoop-spark配置_Spark!_spark_spark配置_hadoop_
10-01
总结起来，单机伪分布式的Hadoop-spark配置是一个基础但重要的技能，它可以帮助开发者在本地环境中快速验证代码和测试算法。通过熟悉Hadoop和Spark的配置文件、理解其核心概念以及熟练掌握相关API，可以在大数据领域...
Spark读取压缩文件
热门推荐
主要分享大数据相关的知识，如Spark、Hudi
06-05 1万+
转载请务必注明原创地址为：https://dongkelun.com/2018/05/30/sparkGZ/ 前言 本文讲如何用spark读取gz类型的压缩文件，以及如何解决我遇到的各种问题。 1、文件压缩 下面这一部分摘自Spark快速大数据分析：   在大数据工作中，我们经常需要对数据进行压缩以节省存储空间和网络传输开销。对于大多数Hadoop输出格式来说，我们可以指定一种压缩编......
Spark安装的三种方式
qq_55870278的博客
11-23 1010
Spark安装部署
spark 1.6.3 hadoop2.x版本下读取海量压缩文件跳过无法解压文件的问题
luohualiushui1的专栏
01-22 529
在spark业务处理过程中，读取HDFS的数据一般使用textFile(inputPath),inputPath目录下可以使各种格式的文本，也可以是gz格式的压缩文件。 使用textFile读取HDFS上inputPath目录下得文件时，如果是gz格式，spark默认解压读取。在大数据处理中，一般textFile读取目录下的文件数比较多，几万到几十万都很平常。 假如该目录下有几万到几十万个gz...
Spark 安装及运行第一个程序遇到问题总结
zhouyu7373的专栏
03-01 1049
这里只说明一下单节点怎么配置，集群scp拷贝过去，配置一下启动节点就可以了 1、下载scala2.11.4版本 下载地址为：http://www.scala-lang.org/download/2.11.4.html 2、解压和安装（自己随便找个目录）： 解压 ：[spark@S1PA11 scala]$ tar -xvf scala-2.11.4.tgz 3、编辑 ~
寒假学习笔记06
qq_43389032的博客
02-06 445
安装spark的环境， 亲测可用。 Spark是Hadoop的子项目。 因此，最好将Spark安装到基于Linux的系统中。 以下步骤说明如何安装Apache Spark。 步骤1：验证Java安装 Java安装是安装Spark的强制性要求之一。 尝试使用以下命令验证JAVA版本。 $java -version 如果Java已经，安装在系统上，你能看到以下响应 java...
Spark 下载版本间的区别
yoshubom的专栏
03-01 4277
Spark 下载版本间的区别 困惑于Spark官网的Pre-built for Apache Hadoop和Pre-built with user-provided Apache Hadoop的区别。 为何下载个Spark还搞那么多的版本？？？本文以2.1.1版作为测试。 Pre-built for Apache Hadoop 在一台安装了Java的机器上执行以下命令 # 0. 进入测试目录 cd...
Spark安装配置
hxxjxw的博客
08-28 131
1、解压 tar -zxvfspark-2.3.0-bin-hadoop2.7.tgz 可以看到spark的目录结构 然后就完事了 spark就这么简单 2、在conf目录下 cp spark-env.sh.template spark-env.sh cp spark-defaults.conf.template spark-defaults.conf 对于单机环境来说，其他配置是可有可无的 3、运行spark-shell bin下 ./spark-s...
spark安装详细步骤
weixin_51981189的博客
11-03 734
export SPARK_MASTER_WEBUI_PORT=8888 #修改spark监视窗口的端口默认8080。export SPARK_MASTER_HOST=192.168.xxx.xxx #主节点IP。export SPARK_WORKER_MEMORY=3g #每个worker使用3g内存。export SPARK_WORKER_CORES=2 #每个worker使用2核。export SPARK_MASTER_PORT=7077 #任务提交端口。比如我的是/opt/soft/jdk180。
SPARK-SQL 读取 内存table 或 hive中的table
小哇
08-10 2691
相关的资源文件地址 链接：https://pan.baidu.com/s/1QGQIrVwg56g9eF16ERSLwQ 提取码：7v8n spark.read().table() 可以操作内存中的某张表，也可以操作hive中的某张表，如果sparksession开启了hive支持，就操作的是hive中的表 代码示例 import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import org.apach
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值