云计算实验2 Spark部署与运行

最新推荐文章于 2022-11-09 21:48:59 发布
最新推荐文章于 2022-11-09 21:48:59 发布
阅读量516 收藏 6
点赞数 1
分类专栏： 云计算及其应用 文章标签： spark ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41680771/article/details/124304048
版权

该博客记录《云计算及其应用》课程中的一个关于Spark的实验
使用的系统是Ubuntu 20.04.4 LTS 和OpenEuler 20.03LTS
两个系统都运行在Vmware workstation pro 16.2.1 上

一、Local 模式运行 Spark

1. 上传 spark和java压缩包

老师分享的压缩包的微信群中，下载后需要上传到虚拟机中，该模式只需要一个系统，这里我使用的是Ubuntu，上传有多种方式，

  1. vmware tools 直接拖拽
  2. 磁盘映射
  3. 打包成.iso 装载到dvd磁盘

这里我选择的是第三种，可以看一下我的这一篇博客 https://blog.csdn.net/qq_41680771/article/details/121739501?spm=1001.2014.3001.5501

2. 解压并配置环境变量

我使用的是 root 用户

我把spark压缩包放置在用户主目录下
在这里插入图片描述
（为了方便复制，我是putty和主机切换使用，所以截图背景不太统一）
解压

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz

在这里插入图片描述
重命名

mv spark-3.0.0-bin-hadoop3.2 spark
在这里插入图片描述

jdk我没有使用老师的java8， 我自己下载了一个java11

官网下载页面 https://www.oracle.com/java/technologies/downloads/#java11

选择这个
在这里插入图片描述
下载完成后我放在了 /usr/lib/jvm/ 目录下（需要自己新建）

mkdir /usr/lib/jvm/

解压 tar -zxvf jdk-11.0.14_linux-x64_bin.tar.gz
请添加图片描述
然后配置环境变量
修改 .bashrc 文件

vim ~/.bashrc

在末尾添加如下内容

export JAVA_HOME=/usr/lib/jvm/jdk-11.0.14
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=.:${JAVA_HOME}/bin:$PATH

请添加图片描述
:wq 保存退出

重新生效该文件
sourcee ~/.bashrc

查看java版本信息
java -version
请添加图片描述

3. 启动spark shell

~/spark/bin/spark-shell

在这里插入图片描述

这时可以在浏览器中查看可视化界面
127.0.0.1:4040

scala wordcount
这时可以重新打开一个terminal，原来的被占用了
首先新建一个文件在data/目录下，可以随意写一些内容
vim word.txt

在这里插入图片描述
在这里插入图片描述

在spark shell界面

sc.textFile("~/spark/data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

在这里插入图片描述

4. 使用 spark submit 提交

在新打开的terminal界面

~/spark/bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ./examples/jars/spark-examples_2.12-3.0.0.jar 10
  1. –class 表示要执行程序的主类， 此处可以更换为咱们自己写的应用程序
  2. –master local[2] 部署模式，默认为本地模式，数字表示分配的虚拟 CPU 核数量
  3. spark-examples_2.12-3.0.0.jar 运行的应用类所在的 jar 包， 实际使用时，可以设定为咱们自己打的 jar 包
  4. 数字 10 表示程序的入口参数，用于设定当前应用的任务数量

在这里插入图片描述
在这里插入图片描述
可视化界面
在这里插入图片描述

5. 退出spark shell

:q 退出

第一部分结束

二、Standalone 模式运行 Spark

1.首先查看两台机器的ip

ifconfig
（如果报错请先安装）

Master(ubuntu)Slave(openEuler)
192.168.91.128192.168.91.129

2. 在master中解压并且配置java环境变量

由于上一部分我已经配置完毕，这里就不需要重复操作了

3. 修改配置文件

  • 进入解压缩后路径的 conf 目录，修改 slaves.template 文件名为 slaves
    mv slaves.template slaves
  • 修改 slaves 文件，添加 work 节点

192.168.91.128
192.168.91.129

在这里插入图片描述
注意！！！ 这里我的两台机器都是root用户（用户名相同）
如果你的不相同
格式应该是
userName@IP

（建议使用相同用户名，防止踩坑）

  • 修改 spark-env.sh.template 文件名为 spark-env.sh

mv spark-env.sh.template spark-env.sh

  • 修改 spark-env.sh 文件，添加 JAVA_HOME 环境变量和集群对应的 master 节点
export JAVA_HOME=/usr/lib/jvm/jdk-11.0.14
export SPARK_MASTER_HOST=192.168.91.128
export SPARK_MASTER_PORT=7077

在这里插入图片描述

4. 将 spark 复制到 slave 上，同步配置环境变量

（1） ssh 连接

首先为了避免多次输入用户密码，使用ssh先实现两个系统无密码访问

先下载安装
sudo apt-get install openssh-server

使用语法如下

生成密钥 ssh-keygen -t rsa

传递密钥 ssh-copy-id -i "userName@IP"

一通回车就好
在这里插入图片描述
在这里插入图片描述
尝试连接：
在这里插入图片描述
连接成功

退出连接
在这里插入图片描述

（2）scp 传输文件

使用说明

scp [参数] <源地址（用户名@IP地址或主机名）>:<文件路径> <目的地址（用户名 @IP 地址或主机名）>:<文件路径>

举例： scp /home/work/source.txt work@192.168.0.10:/home/work/ #把本地的source.txt文件拷贝到192.168.0.10机器上的/home/work目录下

scp work@192.168.0.10:/home/work/source.txt /home/work/ #把192.168.0.10机器上的source.txt文件拷贝到本地的/home/work目录下
scp work@192.168.0.10:/home/work/source.txt work@192.168.0.11:/home/work/ #把192.168.0.10机器上的source.txt文件拷贝到192.168.0.11机器的/home/work目录下

scp -r /home/work/sourcedir work@192.168.0.10:/home/work/ #拷贝文件夹，加-r参数
scp -r /home/work/sourcedir work@www.myhost.com:/home/work/ #使用主机名
scp -r -v /home/work/sourcedir work@www.myhost.com:/home/work/ #显示详情，加-v参数

复制spark
scp -r ~/spark/ root@192.168.91.129:~/spark/

在这里插入图片描述
复制 jdk
scp -r /usr/lib/jvm/ root@192.168.91.129:/usr/lib/jvm/

在这里插入图片描述
配置slave 中的环境变量

操作相同
在这里插入图片描述

5. 启动集群

（1） 执行脚本命令

~/spark/sbin/start-all.sh
在这里插入图片描述

(2) 使用 jps 命令查看进程

jps
在这里插入图片描述

(3) 查看 Master 资源监控 Web UI 界面

http://192.168.133.133:8080
在这里插入图片描述

(4) 使用 spark-submit 提交任务

在 ~/spark/目录下

bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://192.168.91.128:7077  ./examples/jars/spark-examples_2.12-3.0.0.jar 10

命令参数说明

bin/spark-submit \
--class <main-class>
--master <master-url> \
... # other options
<application-jar> \
[application-arguments]
参数解释可选值举例
–classSpark 程序中包含主函数的类-------
–masterSpark 程序运行的模式(环境)local[*]、 spark://master:7077
–executor-memory 1G指定每个 executor 可用内存为 1G-------
–total-executor-cores 2指定所有 executor 使用的 cpu 核数为 2 个-------
–executor-cores指定每个 executor 使用的 cpu 核数-------
application-jar打包好的应用 jar，包含依赖。这个 URL 在集群中全局可见。 比如 hdfs:// 共享存储系统，如果是 file:// path，那么所有的节点的
path 都包含同样的 jar-------
application-arguments传给 main()方法的参数-------

运行截图：
在这里插入图片描述
在这里插入图片描述

实验结束

贴一个很好的教程

https://blog.csdn.net/Alice2O3/article/details/123980977

用户名不以数字开头
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
《云计算实践与原理》实验报告
06-21
每篇实验报告包含实验目的、实验环境、实验内容、实验代码、实验结果与结论以及实验心得。 实验1 虚拟机创建与管理 实验2 Linux运维操作 实验3 分布式系统安装与配置 实验4 分布式文件系统读写 实验5 分布式并行...
Spark的安装和测试
IT影风的博客
07-07 4474
部署是环境为3台服务器 ，里面安装了相关的hadoop集群，安装的spark1.6.3 总共分为如下安装方式 1，单机模式测试安装 2，Standalone集群模式 3，Standalone集群HA模式 4，Yarn集群模式   一，单机模式测试安装 1，解压安装包 [root@hadoop01 bigdata]# pwd /home/tools/bigdata [root@h...
Spark集群搭建
hyj
07-22 129
一、前提 1、安装hadoop集群 2、安装scala 3、假设三个节点：master、slave1、slave2 二、Spark集群搭建 1、建立文件夹存放spark压缩包 2、在本文件夹下解压 3、将解压得到的文件夹名重命名 4、进入spark-2.20\conf文件夹，修改spark-env.sh.template为spark-env.sh 5、在spark...
Spark学习笔记
kaku812814843的博客
01-06 247
分布式计算框架Spark特点：计算快，通用，开发容易，可以访问任何数据库以及HDFS分布式文件系统 Spark、Kafka、Flink的源码语言是Scala，Hadoop和Hive的源码语言是Java，Storm的源码语言是Clojure但已经被阿里用Java重写成了JStorm贡献给Apache基金会 Spark生态系统BDAS（Berkeley Data Analysis Stacks）：...
学习笔记-Spark环境搭建与使用
qq_41619524的博客
09-10 1689
Hadoop与Spark搭建
centos7.4 搭建spark集群
北极的企鹅
01-09 258
搭建spark集群 1. 修改配置文件 cd /home/cloud/platform/spark-2.3.3-bin-hadoop2.7/conf ***1.1 vim slaves*** (将所有节点的ip或者cloud1.cloud2加进去,如下图) 1.2 先将spark-env.sh 和spark-env.sh.template复制进来(其中两个文件中都被注释了,没有内容...
基于Docker的Spark云计算实验教学平台搭建与应用.pdf
07-16
基于Docker的Spark云计算实验教学平台搭建与应用.pdf
物联网与云计算：Spark基础入门.pdf
07-11
物联网与云计算：Spark基础入门.pdf
云计算实验报告合集+所有截图+详细解释
11-06
共包含四个云计算实验，分别是实验一基于Hadoop的云计算平台配置；实验二 Spark分布式内存计算框架配置及编程案例；实验三 基于Scala编程语言的Spark数据预处理实验； 实验四 面向行业背景的大数据分析与处理综合...
Hadoop原理与技术Spark操作实验
05-24
2． 学会在Spark Shell中编写Scala程序； 3． 学会在Spark Shell中运行Scala程序。 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 （一）Spark基础知识 （1）输入start-...
linux服务器搭建_新人可以用云服务器干什么？（附带免费学生云服务器链接）...
weixin_39707536的博客
10-20 1237
❝文案摘自牛客网知乎回答，https://www2.zhihu.com/question/342135255内容是我写的，通过牛客网发布，欢迎对算法感兴趣和面临IT求职的朋友访问牛客网https://www.nowcoder.com/?from=summerfire阿里云免费学生云服务器：https://developer.aliyun.com/adc/student/?tdsource...
查看spark进程运行状态以及安装spark
sinat_26566137的博客
08-01 9382
6、移动命令 #hadoop dfs –mv /user/test.txt /user/test/ 7、拷贝命令 #hadoop dfs –copytolocal /user/test.txt /opt/ 查看spark上面的运行情况； http://192.168.31.10:8080/# wc -l judgedoc_litigant.txt 查看文件有多少行； hto...
在云主机上配置spark集群，并在yarn上运行spark
Cupcake_JackY的博客
08-18 548
一、 背景知识 1. spark spark 一个通用的计算引擎，专门为大规模数据处理而设计，与 mapreduce 类似，不同的是，mapreduce 把中间结果 写入 hdfs，而 spark 直接写入 内存，这使得它能够实现实时计算。 spark 由 scala 语言开发，他能够和 scala 完美结合，同时实现了 java、python、R 等接口。 2. yarn Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的
如何kill掉Ubuntu的僵死进程
大头皮鞋的博客
05-18 2888
做spark应用时，每提交一个应用就会多出sparksubmit进程 $ jps 3552 SparkSubmit 2164 SparkSubmit 3223 SparkSubmit 5358 Jps 当我们想kill掉这个进程时， $ kill -9 3552 $ kill -9 2164 $ kill -9 3223 再次用jps查看进程，发现SparkSubmit进程杀不掉 ...
Spark（3）：Spark运行环境
yang_shibiao的博客
11-09 2186
自己学习时，每次都需要启动虚拟机，启动集群，这是一个比较繁琐的过程，并且会占大量的系统资源，导致系统执行变慢，不仅仅影响学习效果，也影响学习进度，Spark 非常暖心地提供了可以在 windows 系统下启动本地集群的方式，这样，在不使用虚拟机的情况下，也能学习 Spark 的基本使用。所谓的 Local 模式，就是不需要其他任何节点资源就可以在本地执行 Spark 代码的环境，一般用于教学，调试，演示等，在 IDEA 中运行代码的环境我们称之为开发环境，不太一样。
使用Spark shell
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 6551
大数据实验教学系统使用Spark shellspark-shell命令及其常用的参数如下：   Spark的运行模式取决于传递给SparkContext的Master URL的值。 • 参数选项–master：这个参数表示当前的Spark Shell要连接到哪个master，如果是local[*]，就是使用本地模式启动spark-shell，其中，中括号内的星号表示需要使用几个CPU核心(core)，也就是启动几个线程模拟Spark集群。可选地，默认为local。 • 要查看完整的参数选项列表，可以执行“s
云计算实验3 基于Scala编程语言的Spark数据预处理实验
MrNeo的博客
11-07 2269
本次实验主要使用了Scala语言进行基本的操作，基本熟悉Scala的基本语法、数据类型以及函数的使用，在spark-shell下完成RDD的基本操作，根据实际业务需求使用spark 完成对Apache格式的日志内容的分析，了解了自定义日志过滤函数、日志预处理、日志的相关指标等操作。
Spark-Shell的启动与运行
LMY~~的博客
08-09 2669
Spark-Shell的启动与运行
ubuntu20.04安装spark
最新发布
03-16
要在Ubuntu 20.04上安装Spark，您可以按照以下步骤操作： 1. 首先，您需要安装Java。在终端中运行以下命令： sudo apt update sudo apt install default-jdk 2. 然后，您需要下载Spark。您可以从Spark官方网站下载最新版本的Spark。在终端中运行以下命令： wget https://downloads.apache.org/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz 3. 解压Spark文件。在终端中运行以下命令： tar xvf spark-3.1.2-bin-hadoop3.2.tgz 4. 将Spark文件夹移动到/opt目录下。在终端中运行以下命令： sudo mv spark-3.1.2-bin-hadoop3.2 /opt/spark 5. 配置环境变量。在终端中运行以下命令： echo 'export PATH=$PATH:/opt/spark/bin' >> ~/.bashrc source ~/.bashrc 6. 测试Spark是否安装成功。在终端中运行以下命令： spark-shell 如果一切正常，您应该能够看到Spark Shell的欢迎消息。 希望这可以帮助您安装Spark！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值