Spark基础学习笔记06：搭建Spark单机版环境

已于 2022-06-14 08:18:47 修改
阅读量484 收藏 2
点赞数
文章标签： spark 学习 big data
于 2022-06-07 10:59:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_56244269/article/details/125160714
版权
本文详细记录了如何搭建Spark单机版环境，包括设置IP与主机名映射，下载安装配置JDK，以及下载、安装和配置Spark的过程，最后通过启动`spark-shell`验证环境配置成功。
摘要由CSDN通过智能技术生成

目录

（一）设置IP地址与主机名映射

（二）下载、安装和配置JDK

1、下载JDK压缩包

2、上传到ied虚拟机

3、将压缩包解压到指定目录

4、配置Java环境变量

（三）下载、安装与配置Spark

1、下载Spark安装包

2、将Spark安装包上传到ied虚拟机

3、将Spark安装包解压到指定目录

4、配置Spark环境变量

（一）设置IP地址与主机名映射

执行命令：yum -y install vim，安装vim编辑器

（二）下载、安装和配置JDK

1、下载JDK压缩包

2、上传到ied虚拟机

将JDK压缩包上传到ied虚拟机/opt目录

3、将压缩包解压到指定目录

执行命令：tar -zxvf jdk-8u162-linux-x64.tar.gz -C /usr/local

4、配置Java环境变量

最低0.47元/天 解锁文章
.qqq.
关注
Spark大数据处理讲课笔记2.2 搭建Spark开发环境
howard2005的专栏
03-20 1190
1. Spark开发环境准备工作； 2. 了解Spark的三种部署方式； 3. 搭建Spark单机版环境； 4. 搭建Spark Standalone集群； 5. 体验第一个Spark程序； 6. 在Spark Shell里基本操作； 7. 初识弹性分布式数据集RDD
搭建Spark单机版环境
m0_59791585的博客
06-16 2409
3
搭建 spark单机版环境
m0_65838036的博客
03-14 304
1.创建端口 2. 创建实例 3.登陆ied实例 4.修改ied实例主机名 3.执行重启命令，重启ied虚拟机 4.本机远程桌面连接虚拟机
Spark 单机和集群环境部署教程
最新发布
qq_42568323的博客
08-07 1351
通过以上步骤，我们成功部署了 Spark 单机和集群环境，并实现了一个简单的 Word Count 应用。Spark 提供了强大的分布式计算能力，可以处理大规模数据，并支持多种编程语言。
Spark基础学习笔记03：搭建Spark单机版环境
f54268589的博客
03-26 3569
Spark基础学习笔记03：搭建Spark单机版环境
搭建 Spark 单机伪分布式环境
qq_55944883的博客
04-02 1960
是配置分布式文件系统对于每个文件块的副本数量设置，默认为3,而 在伪分布式环境下设置为 1，因为只有一个节点。下载 Hadoop-2.7.7 安装包，解压至/home/hj/hadoop-2.7.7 文件夹。下载 Hadoop-2.7.7 安装包，解压至/home/hj/hadoop-2.7.7 文件夹。是配置默认文件系统所在的位置，将其中主机名替换为自 己的主机名称（框架中资源管理者的主机名，因为就一个节点，所以设置为当前主机名。为输出文件夹（是文件夹,不是文件！为输入文件夹（是文件夹,不 是文件！
spark单机版本的搭建
贾慧玉的博客
10-19 298
首先配置ssh localhost确保安装好ssh：sudoapt−getupdate sudo apt-get update sudo apt-get install openssh-server $ sudo /etc/init.d/ssh start生成并添加密钥：ssh−keygen−trsa ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >>
SPARK单机模式搭建(从零开始)
热门推荐
Gary,Done的专栏
06-01 1万+
博客原文 安利一篇我翻译的国外大牛的神经网络入门文章 因为是从零开始，所以本文将spark部署成单机模式，并且有些文件放到home的个人目录中，不过看下设置的环境变量的就可以知道，这些文件放那里其实是无所谓的 服务器环境为cenos，并且JDK已经正确安装，可通过jar命令是否可用来判断 $ jar Usage: jar {ctxui}[vfmn0PMe] [jar-file] [ma
Spark Standalone 单机版部署
10-17
Spark standalone 单机版部署，看了网上很多方法，事实证明都是错误的，本人亲身经历，在导师的指导下，成功配置成功单机版。
02搭建Spark单机环境2
qq_56244269的博客
03-14 3095
一、在三台虚拟机上面安装lrzsz 1.在master虚拟机上面安装： yum -y install lrzsz （同理，在slave1与slave2一样安装） 二、在三台虚拟机上安装配置jdk 在master虚拟机上面安装配置jdk 上传Java安装包 当上传不行的时候 进入vim配置 使用解压命令： tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local 生成目录opt 使用命令：vim /etc/profi...
安装spark1.3.1单机环境
apple01010105的博客
04-27 153
本文介绍安装spark单机环境的方法，可用于测试及开发。主要分成以下4部分： （1）环境准备 （2）安装scala （3）安装spark （4）验证安装情况 1、环境准备 （1）配套软件版本要求：Spark runs on Java 6+ and Python 2.6+. For the Scala API, Spark 1.3.1 uses Scala ...
Linux（基于CentOS7）单机版Spark环境搭建
weixin_45973206的博客
03-19 6794
Linux（基于CentOS7）单机版Spark环境搭建
搭建Spark单机环境01
qq_56244269的博客
03-05 1479
目录 （一）通过SecureCRT访问ied虚拟机 登录master 登录master的密码与账号（root：p@ssw0rd) 更改名称 查看是否一样 （一）通过SecureCRT访问ied虚拟机 首先远程连接cm_win7虚拟机 安装并解压SecureCRT 启动cm_win7虚拟机上的SecureCRT 点击设置 登录master 设置master 登录master的密码与账号（root：p@ssw0rd) 同理登录slave1与s.....
Spark 单机版（不依赖Hadoop）
qq_43250374的博客
12-03 4837
Spark 单机版 Spark 还久没有配置了，做个配置记录一下 Spark 单机版，不依赖Hadoop，只需安装JDK，Scala。 安装步骤Spark 单机版简介一、前期准备二、安装步骤1.环境依赖2.Spark 文件修改3.启动测试 简介 查看网上好多安装Spark的步骤都太长了，不够简约，再此做个简约的步骤记录 一、前期准备 我使用版本的是 ： jdk1.8.0_141 scala-2.11.12 spark-2.3.2-bin-hadoop2.7 二、安装步骤 1.环境依赖 全部解压后在
Spark安装单机版
RJSong
03-14 557
1、下载地址      https://archive.apache.org/dist/spark/spark-2.1.0/2、通过FTP上传至Linux服务器某目录文件下    3、解压缩      tar -zxvf spark-2.1.0-bin-without-hadoop.tgz.gz4、重命名      mv spark-2.1.0-bin-without-hadoop spark5、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值