安装Spark并运行示例

最新推荐文章于 2024-05-22 00:24:23 发布
最新推荐文章于 2024-05-22 00:24:23 发布
阅读量499 收藏 2
点赞数
分类专栏： Hadoop 大数据
原文链接：https://www.bilibili.com/video/BV1vb41137Yv?p=5
版权

看视频学习安装Spark，前提是已经配置好各个虚拟机的网络等等
https://www.bilibili.com/video/BV1vb41137Yv?p=5

1、spark官网下载

2、解压压缩包
cd /usr/src/spark
tar -zxvf  spark-2.4.6-bin-hadoop2.7.tgz -C /root/src/

3、文件重命名
cd /root/src/spark-2.4.6-bin-hadoop2.7
cd conf
mv spark-env.sh.template spark-env.sh
mv slaves.template slaves


4、配置环境变量
vi spark-env.sh
export JAVA_HOME=/root/src/jdk1.8.0_171

export SPARK_MASTER_HOST=master
export SPARK_WORKER_PORT=7077

5、配置节点名称
vi slaves
slave1
slave2

6、拷贝设置到其它节点
for i in {1..2}; do scp -r /root/src/spark-2.4.6-bin-hadoop2.7/ slave$i:/root/src/;done

7、启动spark
cd /root/src/spark-2.4.6-bin-hadoop2.7
sbin/start-all.sh
sbin/stop-all.sh

8、查看管理节点
http://192.168.10.168:8080/


高可用集群安装
1、下载zookeeper
https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/

2、解压安装
cd /usr/src/zookper
tar -zxvf  zookeeper.tar.gz -C /root/src/

3、配置文件（需要启动几个机器就配置几个机器的文件）
cd /root/src/zookeeper/conf
#cp zoo_sample.cfg zoo.cfg
vi zoo.cfg


dataDir=/root/src/zookeeper/data
server.1=master:2888:3888
server.2=master2:2888:3888
server.3=master3:2888:3888

4、在dataDir的目录下创建myid文件，里面写上server.后面的文本
比如server.1就写1
比如server.2就写2


运行
systemctl stop firewalld
service iptables status
chkconfig iptables off
 	
cd /root/src/zookeeper/bin
./zkServer.sh start
./zkServer.sh restart
./zkServer.sh stop

检查运行状态(显示正常需要启动所有配置好的机器)
./zkServer.sh status
jps
查看进程
netstat -nltp | grep 2181

杀死进程
kill -9 7018

作用：选举、保存活跃Master的信息、保存所有worker的资源信息和资源使用情况（为了故障切换）

1、配置环境变量
cd /root/src/spark-2.4.6-bin-hadoop2.7/conf
vi spark-env.sh
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=slave1:2181,slave2:2181 -Dspark.deploy.zookeeper.dir=/spark2"
export SPARK_WORKER_CORES=4
export SPARK_WORKER_MEMORY=6g

2、拷贝设置到其它节点
for i in {1..2}; do scp -r /root/src/spark-2.4.6-bin-hadoop2.7/conf/spark-env.sh slave$i:$PWD; done
for i in {2..3}; do scp -r /root/src/spark-2.4.6-bin-hadoop2.7/conf/spark-env.sh master$i:$PWD; done

3、启动集群
     启动ZK集群
     启动spark集群，但是只会启动一个Master，另外一个Master手动启动

永久关闭防火墙
systemctl disable firewalld.service


提交第-个spark应用到集群中运行
cd /root/src/spark-2.4.6-bin-hadoop2.7
bin/spark-submit --master spark://master:7077,master2:7077 --class org.apache.spark.examples.SparkPi examples/jars/spark-examples_2.11-2.4.6.jar 100

cd /root/src/spark-2.4.6-bin-hadoop2.7
bin/spark-submit --master spark://master:7077,master2:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2g --total-executor-cores 8 examples/jars/spark-examples_2.11-2.4.6.jar 10000


-executor--memory每个executor使用的内存大小
--total-executor-cores整个app使用的核数
提交-个spark程序到spark集群，会产生哪些进程？
Spa rkSubmint（Driver）提交任务
Executor执行真正的计算任务的
提交任务可以指定多个master地址，目的是为了提交任务高可用


Spark Shell(是-一个交互式的命令行,里面可以写spark程序,方便学习和测试,他也是一个客户端,用于提交spark应用程序)
cd /root/src/spark-2.4.6-bin-hadoop2.7
bin/spark-shell
bin/spark-shell上面的方式没有指定master的地址，即用的是spark的local模式运行的
bin/spark-shell --master spark://master:7077,master2:7077 
上面是指定了master的地址， 那么就会将任务提交到集群，开始时sparksubmit （客户端）要连接Master，并申请计算资源（内存和核数）
，Master进行资源调度（就是让那些worker启动Executor），在准备工作时，这些进程都已经创建好了

sc.textFile("/root/src/file/file1.txt").flatMap(_. split(" ")). map((_,1)). reduceByKey(_+_).collect

使用Hadoop上面hdfs的内容
先启动hdfs
sbin/start-dfs.sh

查看在/hdfsinput 下面有txt文件
sc.textFile("hdfs://master:9000/hdfsinput/file1.txt").flatMap(_. split(" ")). map((_,1)). reduceByKey(_+_).collect

启动Zookeeper
报错这种
在这里插入图片描述
参考
https://blog.csdn.net/qq_34478594/article/details/105326460?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.edu_weight&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.edu_weight

更改权限
cd /root/src/zookeeper/data/version-2
chmod 777 acceptedEpoch
chmod 777 currentEpoch
chmod 777 snapshot.200000000
chmod 777 snapshot.500000000

Mast
er2

在这里插入图片描述

master
在这里插入图片描述

启动spark
Master2
在这里插入图片描述

Slave1

在这里插入图片描述
Slave2
在这里插入图片描述

第二个master启动
在这里插入图片描述

查看管理节点
http://192.168.10.168:8080/
在这里插入图片描述

备份管理节点

在这里插入图片描述
执行第一个spark程序（已有jar程序）
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

执行第一个spark程序（自己写的scala程序）

使用本地文件
进入spark-shell
bin/spark-shell

sc.textFile("/root/src/file/file1.txt").flatMap(. split(" ")). map((,1)). reduceByKey(+).collect

在这里插入图片描述
运行结果

在这里插入图片描述

使用Hadoop的hdfs文件

在这里插入图片描述
sc.textFile(“hdfs://master:9000/hdfsinput/file1.txt”).flatMap(. split(" ")). map((,1)). reduceByKey(+).collect

按照单词个数从多到少排序
sc.textFile(“hdfs://master:9000/hdfsinput/file1.txt”).flatMap(. split(" ")). map((,1)). reduceByKey(+).sortBy(_._2,false). collect

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述


运行java打包的jar中的wordcount
cd /root/src/spark-2.4.6-bin-hadoop2.7
bin/spark-submit \
--master spark://master:7077,master2:7077 \
--class cn.edu360.spark.JavaWordCount \
--executor-memory 2g \
--total-executor-cores 8 \
/root/src/spark-2.4.6-bin-hadoop2.7/examples/jars/SparkTest-1.0-SNAPSHOT.jar \
hdfs://master:9000/hdfsinput/file1.txt \
hdfs://master:9000/output_dir


#删除hdfs目录
hadoop fs -rm -r hdfs://master:9000/output_dir

在这里插入图片描述
在这里插入图片描述

GIS从业者
关注
专栏目录
Spark 运行自带例子
u011569805的专栏
05-07 5732
1. 运行spark自带例子时遇到军
spark运行自带例子_Spark运行命令示例
weixin_29146313的博客
02-11 345
local单机模式：结果xshell可见：./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[1] ./lib/spark-examples-1.3.1-hadoop2.4.0.jar 100standalone集群模式：需要的配置项1, slaves文件2, spark-env.shexport ...
spark运行wordcount例子
10-31
本例子是让新手熟悉了解如果用idea开发程序，提交到spakr集群上读取hdfs数据这么一个流程。博客讲解链接：https://blog.csdn.net/cuicanxingchen123456/article/details/83573838
Spark的几种运行模式及shell测试
YQlakers的博客
05-25 3225
Spark的几种运行模式： local单机模式： 结果xshell可见： ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[1] ./lib/spark-examples-1.3.1-hadoop2.4.0.jar 100 standalone集群模式： 需要的配置项
Spark运行WordCount例子
m0_46917254的博客
03-13 3651
Spark运行WordCount例子（python） 一：前提 因为我们是在yarn上运行Spark，所以要有这个环境。文件是从hdfs上读取的，所以hadoop集群要搭建好（单机即可，不需要全分布式）。 下面演示是我在一台机器（master）上运行的。 另外代码用的是Python语言，在jupyter notebook上运行。 二：上传文件 1.查看本地文件： 2.把本地文件hello.txt上传到hdfs上。 命令：hadoop fs -put hello.txt /class_data 3.在yar
Spark部署与程序运行示例
Binder~的博客
11-12 1027
Spark部署 1.       Local模式部署： 1）    安装java，配置环境变量 2）    主节点配置 cd $SPARK_HOME/conf cp spark-env.template spark-env.sh vim spark-env.sh   export SPARK_MASTER_IP=your_master_ip;
spark_examples:Spark程序的示例测试程序
05-16
4. **Spark运行模式** - **Local模式**：适合本地开发和测试，所有工作都在单个JVM上完成。 - **Standalone模式**：Spark自带的集群管理器，适合小规模集群。 - **YARN模式**：在Hadoop的资源管理器上运行Spark...
spark运行自带例子_Scala编写spark程序，简单示例及运行
weixin_35757191的博客
12-29 1123
Scala编写spark程序，简单示例及运行2015-06-12 14:54:56作者：MangoCool来源：MangoCool折腾了一周的Spark，总算是有一点了解了。本文章所讲述的是从官网copy了一个Scala的例子，在本地打包之后，上传到集群中，用spark-submit提交任务。新建一个Sacal工程，暂时先选择。点击Finish，新建一个Scala文件，将官网例子代码贴...
spark local下 WordCount运行示例
08-14
在"Spark local下 WordCount运行示例"中，我们将探讨如何在本地模式（local mode）下使用Spark执行一个简单的WordCount程序。WordCount是大数据处理领域的一个经典例子，用于统计文本中各个单词出现的次数。 首先，...
Spark部署及示例代码讲解
01-30
Spark及示例代码的运行。此外，深入介绍了运行代码的过程、脚本内容，通过这些介绍力求让读者可以快速地上手 Spark。目前市面上发布的Spark中文书籍对于初学者来说大多较为难读懂，作者力求推出一系列Spark 文章，让...
Spark 2017最新运行命令样例
08-04
包含spark三种运行模式所有相关运行指令 需要更多资源请关注。 个人github: https://github.com/huangyueranbbc
运行Spark例子程序
choutiaolin8504的博客
02-24 251
一、安装和配置 下载并解压Spark到指定目录，如果没有安装JDK、Scala，需要先下载JDK、Scala到指定目录，并设置SPKARK_HOME(JAVA_HOME、SCALA_HOME). 二、启动Spark或Spark集群 如果只是在单节点上运行Spark，无需启动Spark，直接按『...
spark运行自带例子_spark 例子运行- spark pi
weixin_39594312的博客
12-19 1297
原计划用cygwin来运行linux的脚本，进行测试。但是在实际运行过程中，出现java -cp x.jar class，总是失败的问题，一直没有解决，因而，直接用windows版本的scala及spark，其中scala有单独的window版本的MSI文件，下载后直接安装即可。spark下载编译好的二进制文件，解压缩即可，不需要安装。开头提到的问题，最终在帖子cygwin下java类库的...
spark运行自带例子_Spark程序的四种运行环境
weixin_39700397的博客
12-23 654
Spark程序有四种运行环境，分别如下：​ 本地模式​ 1、local => 主要用于开发(IDEA中运行)和开发的测试(spark-shell运行)​ 集群模式​ 2、standalone => 将spark应用运行在spark自带的资源管理器上​ 3、yarn => 将spark应用运行在yarn上， 80...
Spark在YARN上运行图解（资源调度+任务调度）及案例
最新发布
weixin_52134189的博客
05-22 1194
Spark集群配置YARN、client与cluster提交流程图解、编写spark程序在yarn上执行（计算圆周率）
本地执行Spark程序示例
02-03 4090
Scala IDE  eclipse（去官网下载） 开发基于本地的spark程序 下载完成后，在写代码之前，需要对IDE做以下修改 （1）Scala IDE的默认Scala版本是2.11.7,  需要修改为2.10.x （2）加入spark1.6.0的jar包依赖 package com.jiang.spark import org.apache.spark.SparkConf i
运行Spark程序
sunspeedzy的博客
04-05 411
spark-submit --master local --class demo.SparkPi SparkDemo/target/SparkDemo-1.0-SNAPSHOT.jar 基本运行方式  spark-submit --master local/yarn-client/yarn-cluster 类名 jar包路径
如何在Spark源码中运行SparkExamples的例子程序
qq_35828475的博客
04-29 1007
如何在Spark源码中运行SparkExamples的例子程序 首先从github中将Spark的源码下载下来。 然后，对源码进行build mvn -DskipTests clean package build过程中会不断的下载必须的jar包，如果不能正确上网的话，会遇到各种的问题。 build完成后，运行例子程序时，出现无法找到spark-version-info.pr...
Spark本地安装和简单示例
技术笔记
01-26 1939
Spark是基于内存的大数据分析平台，由UC Berkely AMP lab发布的一大神器。相比Hadoop而言，其最大的优势是基于内存，这样可以极大提高其速度和通用性。本文从最简单的安装到第一个应用脚本，引导初学者入门。。。。
Spark部署教程与实战示例
为了保证Spark的正常运行，作者强调了Java和Python的开发包在Linux服务器上的安装，通过`java-version`命令检查Java版本，并提供了一个检查Java和Python版本的命令示例。 在代码运行方面，文章深入解析了如何执行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值