Spark基础学习笔记03：搭建Spark单机版环境

最新推荐文章于 2024-08-07 22:17:24 发布
最新推荐文章于 2024-08-07 22:17:24 发布
阅读量307 收藏 1
点赞数
文章标签： spark 学习 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lwmzl00/article/details/125308765
版权
本文详细介绍了如何在私有云上搭建Spark单机版环境，包括配置主机名、IP映射、安装JDK和Spark，以及启动SparkShell。通过运行SparkPi示例和Spark-Shell，展示了Spark的基本使用，包括创建RDD、转化和行动操作。
摘要由CSDN通过智能技术生成

文章目录
零、本讲学习目标
学会搭建Spark单机版环境
学会Spark应用程序的运行
学会启动Spark Shell
初步了解RDD的概念
一、搭建Spark单机版环境
（一）私有云上创建ied实例
创建端口 - ied_port
在这里插入图片描述二）连接ied虚拟机
演示win7虚拟机通过FinalShell连接ied虚拟机
在这里插入图片描述

三）修改ied实例主机名
执行命令：hostnamectl set-hostname ied
在这里插入图片描述
重启虚拟机
在这里插入图片描述再次连接ied虚拟机

在这里插入图片描述
四）设置IP地址与主机名映射
执行命令：yum -y install vim，安装vim编辑器

最低0.47元/天 解锁文章
lwm0810
关注
Spark大数据处理讲课笔记2.2 搭建Spark开发环境
howard2005的专栏
03-20 1220
1. Spark开发环境准备工作； 2. 了解Spark的三种部署方式； 3. 搭建Spark单机版环境； 4. 搭建Spark Standalone集群； 5. 体验第一个Spark程序； 6. 在Spark Shell里基本操作； 7. 初识弹性分布式数据集RDD
搭建Spark单机版环境
m0_59791585的博客
06-16 2441
3
搭建 spark单机版环境
m0_65838036的博客
03-14 322
1.创建端口 2. 创建实例 3.登陆ied实例 4.修改ied实例主机名 3.执行重启命令，重启ied虚拟机 4.本机远程桌面连接虚拟机
Spark 单机和集群环境部署教程
最新发布
qq_42568323的博客
08-07 1591
通过以上步骤，我们成功部署了 Spark 单机和集群环境，并实现了一个简单的 Word Count 应用。Spark 提供了强大的分布式计算能力，可以处理大规模数据，并支持多种编程语言。
Spark基础学习笔记06：搭建Spark单机版环境
qq_56244269的博客
06-07 497
执行命令：，安装vim编辑器将JDK压缩包上传到ied虚拟机目录执行命令： 执行命令： export JAVA_HOME=/usr/local/jdk1.8.0_162 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar存盘退出，执行命令：，让环境配置生效 在任意目录下都可以查看JDK版本 下载链接：百度网盘 请输入提取码 提取码：zh0x 执行命令： 执行
SPARK单机模式搭建(从零开始)
热门推荐
Gary,Done的专栏
06-01 1万+
博客原文 安利一篇我翻译的国外大牛的神经网络入门文章 因为是从零开始，所以本文将spark部署成单机模式，并且有些文件放到home的个人目录中，不过看下设置的环境变量的就可以知道，这些文件放那里其实是无所谓的 服务器环境为cenos，并且JDK已经正确安装，可通过jar命令是否可用来判断 $ jar Usage: jar {ctxui}[vfmn0PMe] [jar-file] [ma
搭建 Spark 单机伪分布式环境
qq_55944883的博客
04-02 2059
是配置分布式文件系统对于每个文件块的副本数量设置，默认为3,而 在伪分布式环境下设置为 1，因为只有一个节点。下载 Hadoop-2.7.7 安装包，解压至/home/hj/hadoop-2.7.7 文件夹。下载 Hadoop-2.7.7 安装包，解压至/home/hj/hadoop-2.7.7 文件夹。是配置默认文件系统所在的位置，将其中主机名替换为自 己的主机名称（框架中资源管理者的主机名，因为就一个节点，所以设置为当前主机名。为输出文件夹（是文件夹,不是文件！为输入文件夹（是文件夹,不 是文件！
spark单机版本的搭建
贾慧玉的博客
10-19 309
首先配置ssh localhost确保安装好ssh：sudoapt−getupdate sudo apt-get update sudo apt-get install openssh-server $ sudo /etc/init.d/ssh start生成并添加密钥：ssh−keygen−trsa ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >>
Spark Standalone 单机版部署
10-17
Spark standalone 单机版部署，看了网上很多方法，事实证明都是错误的，本人亲身经历，在导师的指导下，成功配置成功单机版。
Linux（基于CentOS7）单机版Spark环境搭建
weixin_45973206的博客
03-19 6844
Linux（基于CentOS7）单机版Spark环境搭建
单机搭建spark环境
jinxuezhe的专栏
06-01 373
saprk 单机搭建
02搭建Spark单机环境2
qq_56244269的博客
03-14 3104
一、在三台虚拟机上面安装lrzsz 1.在master虚拟机上面安装： yum -y install lrzsz （同理，在slave1与slave2一样安装） 二、在三台虚拟机上安装配置jdk 在master虚拟机上面安装配置jdk 上传Java安装包 当上传不行的时候 进入vim配置 使用解压命令： tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local 生成目录opt 使用命令：vim /etc/profi...
Spark单机伪分布式环境搭建、完全分布式环境搭建、Spark-on-yarn模式搭建
遇安的博客
03-09 2598
本文详细的写有：Spark伪分布式环境搭建、Spark完全分布式环境搭建、Spark-on-yarn模式环境搭建、Scala环境搭建的详细步骤
单机式Spark环境配置
qq_40333693的博客
10-30 361
一.下载安装包 1.下载Spark压缩包：选择较新的Spark2.4版本，下载地址 https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.6.tgz 2.在Scala官网下载scala-2.11.12.tgz压缩包 二，在虚拟机中解压文件 1.将Scala压缩文件解压到opt目录下：tar -zxvf scala-2.11.12.tgz -C /opt 2.将Spark压缩文件解压到opt目录下：tar -zx
Spark单机模式搭建
徐先森的博客
06-11 2638
Spark单机模式搭建步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值