Spark local/standalone/yarn/远程调试-运行WordCount

最新推荐文章于 2021-12-21 21:34:28 发布

Nougats

最新推荐文章于 2021-12-21 21:34:28 发布

阅读量1.5k

点赞数 1

分类专栏： spark 文章标签： spark spark入门

本文链接：https://blog.csdn.net/Nougats/article/details/73033144

版权

本文详细介绍了如何在不同模式下（local, standalone, yarn）运行Spark的WordCount程序，并通过debug监听端口的方式进行远程调试。在每个模式下，都提供了启动步骤和观察程序执行状态的方法，帮助读者深入理解Spark的运行机制。" 79512390,7504495,修复MySQL .idb文件损坏问题,"['MySQL', '数据库修复', '故障排除', '数据恢复', '配置文件']

摘要由CSDN通过智能技术生成

local

直接启动spark-shell

./spark-shell --master local[*]

编写scala代码

sc.textFile("/input/file01.txt")
res0.cache()
res0.count
val wd=res0.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_)
wd.collect.foreach(println)

在输出日志中查看WordCount结果

在spark监控页面查看看，绿色的圆圈代表缓存在内存中
这里写图片描述

standalone

在spark-env.sh中添加

export SPARK_MASTER_IP  master
export SPARK_MASTER_PORT 7077
export SPARK_WORKER_CORES=2
export SPARK_WORK_INSTANCES=1

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Nougats

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

spark(2) -- spark运行模式及Spark local模式安装与Spark Standalone集群

erainm

10-01

912

Spark 框架编写的应用程序可以运行在本地模式(Local Mode)、集群模式(Cluster Mode) 和云服务(Cloud)，方便开发测试和生产部署。概述本地模式:Local Mode 将Spark 应用程序中任务Task运行在一个本地JVM Process进程中，通常开发测试使用。本地模式LocalMode运行:启动一个JVM进程，里面运行Task任务，Task任务并行运行数目依据分配CPU Core核数，在Spark应用中，一个Task任务运行，需要1Core CPU。 1)

spark local下 WordCount运行示例

08-14

spark local下 WordCount运行示例，maven项目，直接导入eclipse即可

参与评论您还未登录，请先登录后发表或查看评论

spark 本地调试&远程调试

weixin_43548518的博客

12-04

588

方式一：ieda 中编写代码，以local 模式调试 val conf: SparkConf = new SparkConf().setAppName(“WordCount”).setMaster(“local”)//本地调试方式二： ieda 中编写代码，以集群模式调试 val conf: SparkConf = new SparkConf().setAppName(“WordCount”)...

安装Spark Standalone模式/Hadoop yarn模式并运行Wordcount

qingyang0320的专栏

01-15

1691

先说一下我的环境： 2个node，其中一个是master兼worker，另外一个是纯worker master兼worker：sparkmaster 192.168.10.80 纯worker：sparkworker1 192.168.10.81 下载及安装从官网下载预编译好的spark 1.6http://spark.apache.org/downloads.ht

spark 本地调试运行WordCount（java版local模式）

热门推荐

xsdxs的博客

08-14

2万+

spark java版本地（local模式）运行词频统计，WordCount

spark远程调试

bingo_liu的博客

06-09

700

spark远程调试

大数据-计算引擎-Spark（二）：Spark安装与配置【Local模式、Standalone模式、Yarn模式】

u013250861的博客

01-30

674

大数据-计算引擎：Spark安装与配置【Local模式】

大数据技术之Spark ——（一）Spark运行模式（local+standalone+yarn）

m0_46615073的博客

08-25

1060

文章目录前言一、Spark运行环境 1.1、spark运行环境概述 1.2、local模式 1.2.1、上传spark压缩文件并解压 1.2.2、启动local环境 1.2.3、命令行工具 (wordcount小测试) 1.2.4、提交应用 1.3、Standalone（独立部署模式） 1.3.1、解压缩文件 1.3.2、修改配置文件 1.3.3、启动集群 1.3.4、配置历史服务器 1.4、yarn模式 1.4.2、修改配置文件 1.4.3、启动HDFS和YARN 1

java spark on yarn_Spark on YARN简介与运行wordcount（master、slave1和slave2）（博主推荐）...

weixin_32464651的博客

02-24

310

前期博客Spark On YARN模式这是一种很有前景的部署模式。但限于YARN自身的发展，目前仅支持粗粒度模式(Coarse-grained Mode)。这是由于YARN上的Container资源是不可以动态伸缩的，一旦Container启动之后，可使用的资源不能再发生变化，不过这个已经在YARN计划中了。spark on yarn 的支持两种模式：1) yarn-cluster：适用于生产环境...

spark-yarn集群模式远程断点调试踩坑记录

blueSky的博客

12-21

937

一、spark提交参数增加jvm参数设置方式有两种： 1、命令行提交：spark-submit增加参数 driver-java-options:-Xdebug - Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5005 这里对上面的几个参数进行说明： -Xdebug 启用调试特性 -Xrunjdwp 启用JDWP实现，包含若干子选项： transport=dt_socket JPDA front-end和back-end...

spark streaming 远程debug

12-01

443

--conf "spark.driver.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=9999"

Spark的概述|Local模式的安装使用|官方WordCount案例|案例过程分析

SmallScorpion

04-13

319

Spark内置模块 Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。 Spark SQL：是Spark用来操作结构化数据的程序包。通过Spark SQL，我们可以使用 SQL或者Apache Hive...

spark streaming 调试技巧

学无止境

04-29

9412

spark streaming 如果以local 模式运行，log日志非常清楚。如果log 日志是运行在yarn 模式下，driver 的日志可以通过reource manager 日志看到。但是executor的日志却看不到，我们往往错误都发生在executor里，比如典型的错误：如果我们连接hbase去存取数据的话，我们会在driver里初始化了连接，缺忽略的excutors里，导致程序出错

Apache Spark三种分布式部署方式比较

weixin_33921089的博客

04-21

507

目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN。其中，第一种类似于MapReduce 1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统一的资源管理系统完成：让Spark运行在一个通用的资源管理系统之上，这样可以与其他计算框架，比如Ma...

flink 远程调试

qq_26887089的博客

07-29

687

flink远程调试flink配置idea 配置 flink配置 flink-conf.yaml #配置远程调试 env.java.opts.jobmanager: “-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005” env.java.opts.taskmanager: “-agentlib:jdwp=transp...

spark三种模式【Standalone 模式、yarn 运行模式、local(本机)】

lyq7269的博客

08-07

8587

Standalone 模式 standalone模式也叫作独立模式，自带完整的服务，可单独部署到一个集群中，无序依赖任何其他资源管理系统。从一定程度上来说，该模式是其他两种模式的基础。借鉴Spark开发模式，我们可以得到一种开发新型计算框架的一般思路：先设计出它的standalone模式，为了快速开发，期初不需要考虑服务（比如master、slaves）的容错性，之后开发相应的wrapper，将standalone模式下的服务原封不动的部署到资源管理系统yarn或者mesos上，有资源管理系统负责服务本身

flink 作业远程调试和源码调试

liangfeng的博客

09-19

2316

flink 作业远程调试背景：开发过程中有时候需要调试集群中的作业或者源码集群配置：文件flink-conf.yaml 添加两行 # jobmanager debug端口 env.java.opts.jobmanager: "-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5006" # taskmanager de...

Flink 使用IntelliJ IDEA 进行远程调试代码

张伯毅的专栏

04-06

2108

.一 .前言二 .服务器端配置.2.1. 设置启动远程debug端口2.2. 具体操作三 .Idea配置3.1. 配置远程连接3.3. 启动调试一 .前言 Flink on Yarn 不好调试, 所以需要用到远程调试. 注意 : 开启远程调试的代码,必须与本地idea的代码必须保持一致. 二 .服务器端配置. 2.1. 设置启动远程debug端口修改服务器上的配置文件 ${FLINK_HOME}/flink-config.yaml 增加环境变量即可. 参考的设置组件环境变量设置