本地模式调试Spark程序（IDEA）

最新推荐文章于 2023-11-01 15:56:32 发布
最新推荐文章于 2023-11-01 15:56:32 发布
阅读量1.8k 收藏 4
点赞数
分类专栏： 大数据 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36964872/article/details/109187904
版权

0、安装好jdk环境

1、下载hadoop对应的压缩包，解压至本地磁盘目录，并配置好环境变量

添加到Path中

2、需要注意的是，需要将本地JAVA_HOME在hadoop解压缩的目录D:\hadoop-2.9.2\etc\hadoop 下的文件 hadoop-env.cmd进行修改

原JAVA_HOME路径中有（Program File）包含了空格，需要将其修改为（Progra~1），修改后的效果如下

3、最后下载本地执行程序时需要用到的一些脚本文件 winutils，选择对应的版本，并添加到D:\hadoop-2.9.2\bin 目录下

4、将hadoop.dll复制到C:\Windo

最低0.47元/天 解锁文章
AnimalsD
关注
专栏目录
spark本地调试（idea）
qq_24095055的博客
10-23 3226
spark批处理程序通常是跑在类似yarn等集群环境中的，可是在进行开发的时候，不可避免的需要进行本地开发调试，记录下idea下调试本地spark程序方法。 demo代码： /** * @description: 读取本地json文件，字符串解析出id并输出 */ object CountPictureByDayTest { def main(args: Array[String]): Unit = { @transient val spark = SparkS
IDEA本地调试spark任务
liuxilil的专栏
09-09 2395
一、添加插件Scala 二、main方法中config 配置appname和master 本地调试是使用本地idea中编写的代码引入的spark的相关jar包来运行spark程序，将spark程序提交到本地spark（本地并不需要安装Windows版本的spark）运行。下面是获取SparkContext的代码： final SparkConf sparkConf = new Sp...
IDEA spark程序本地调试
qq_31024823的博客
04-25 3120
准备: linux spark2.1.1 集群 linux hadoop-2.7.7集群 windows hadoop-2.7.7环境 windows scala-2.11.8 WordCount.scala package com.zuo.spark import org.apache.spark.{SparkConf, SparkContext} import org.slf4j.L...
spark 本地调试
qq_33620771的博客
05-31 425
package com.zr.spark.machineLearing import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.rdd.RDD object Main { def main(args: Array[String]): Unit = { /** * 初始化环境 */ // 创建配置文件对象 val conf: SparkConf = ne...
IDEA调试SPARK程序
OSSRS
07-13 4296
IDEA调试SPARK程序为SPARK部署好HDFS后，就可以部署SPARK环境了。如何部署HDFS参考HDFS。IDEA for Scala在Scala官网，就有IDE的说明，IDEA中比较方便的编写和调试Scala程序。步骤如下： 下载IDEA社区版，注意你的版本，譬如是IDEA 14.0.3，特别是Build #IC-139.1117。Scala插件要求IDEA的指定版本。 下载Scala P
spark sql 本地调试_Spark应用程序调试方法详解
weixin_39522170的博客
12-19 828
原标题：Spark应用程序调试方法详解 文 | 郭小龙简介Spark是基于内存计算的开源分布式大数据计算框架。为了更好、更快地开发Spark应用程序，开发者不仅要掌握Spark的理论基础和实现原理，更需要掌握Spark应用程序调试方式。Spark应用程序调试方式有：本地调试模式、服务器调试模式、远程调试模式。接下来本文会一一介绍这几种调试方式的使用。本地调试模式1.Spark本地开发工具推荐使用I...
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
04-13
对开发者来说，本地IDEA调试Flink、Spark任务不涉及对象的序列化及反序列化，任务在本地调试通过后，执行在分布式环境下也可能会出错。 而将任务提交到集群进行调试还要走那些繁琐的流程太影响效率了。 因此，为方便...
spark sql 本地调试_MaxCompute Spark 如何在本地进行调试？-问答-阿里云开发者社区-阿里云...
weixin_39754915的博客
12-19 352
可以使用IDEA进行MaxCompute Spark进行本地调试。如何搭建MaxCompute Spark开发环境。前提条件搭建开发环境之前，请确保您已经完成如下软件的安装：JDK 1.8Python2.7MavenGit下载MaxCompute Spark客户端MaxCompute Spark发布包集成了MaxCompute认证功能。作为客户端工具，它通过Spark-Submit方式提交作业到M...
IDEA-调试Spark任务
02-03 560
1、首选创建项目，创建方法请看：https://blog.csdn.net/sunxiaoju/article/details/101229620 2、添加远程同步目录(或者叫远程映射)，首选选择Tools->Deployment->Configuration...，如下图所示： 3、然后选择+号，选择SFTP，如下图所示： 4、输入名称，如下图所示： 5、输入要远程执行spark的host，用户名和密码，如下图所示： 6、输入之后进行测试SFTP是否成功，如果不成功请
本地调试spark任务demo
u012447842的博客
09-28 1503
本地电脑联调spark任务入门级
使用Intellij-idea调试Spark-Application
tmzk的学习笔记
08-11 4781
使用Intellij-idea调试Spark-Application这里的spark application是指需要被submit到spark集群计算环境上运行的job，也就是一个jar包，它虽然有main方法，但是肯定不能以直接在IDEA中右键main函数所在类然后选择debug的方式来调试。因为它不是一个独立的可运行的程序，而是运行云spark集群环境之上，是由另外一个JVM来调用的。就如同调试
一 eclipse Spark 本地开发调试环境
数学民工
09-19 2639
一 配置JDK8 详细参考： http://jingyan.baidu.com/article/ab69b270c01a4d2ca7189f8c.html 二 配置Maven 安装maven http://jingyan.baidu.com/article/d8072ac45d3660ec94cefd51.html Maven在Eclipse中的配置 http://jingyan.bai
spark应用调试(idea 环境)
Just a Benginner
07-15 247
spark应用调试(idea 环境) spark shell可以比较方便的分步执行调试spark应用程序，但有时候不是很方便。下面介绍一种直接在idea中调试spark程序的方法。 maven 新建工程 ​ 这个不多赘述，注意一点是pom文件中把依赖的spark的scope的provided去掉，因为我们要在idea中直接运行，不会用spark-...
（一）Spark本地开发环境搭建与远程debug设置
xiao的博客
08-23 5188
快速看完《Spark大数据处理 技术、应用与性能优化》前四章后，对Spark有了一个初步的了解，终于踏出了第一步，现在需要在Spark集群中做些测试例子，熟悉一下开发环境和开发的流程。本文主要总结了如何在本地使用Maven搭建开发环境以及如何进行远程debug。
Spark调试
stray_world的博客
04-25 508
一、本地调试 step1:写好程序，将master设置为local或者local[n]或者local[*]。 step2:如果应到HDFS，可能会遇到winuntils找不到的问题，需要将HADOOP_HOME环境加入IDEA。 方法1：下载对应hadoop-common-bin-2.7.3-x64.rar对应版本文件，解压到磁盘，在本机环境中添加。 方法2：下载对应hadoop-common-b...
Spark本地环境搭建（local模式）
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 4762
大数据实验教学系统Spark本地环境搭建（local模式）spark有以下几种运行模式，每种运行模式都有自己不同的优点和长处。了解Spark不同安装包之间的区别   安装和配置Spark环境（本地模式）   测试Spark安装是否成功。1、安装和配置Spark环境（本地模式）   2、测试Spark。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3   在本实验环境中，Spark安装包位于以下位置：/data/software/sp
在IDEA运行spark程序（搭建Spark开发环境）
最新发布
wanglingli95的博客
11-01 1万+
在IDEA中运行spark程序
Spark系列(五)IDEA编写及调试Spark的WordCount程序
淡淡的倔强的博客
07-12 2457
使用IDEA编写Spark程序的前提条件是IDEA已经配置好Scala的编写环境，可以参考Scala–IDEA配置及maven项目创建 在这里，我们以hadoop的wordcount为例，编写Scala程序，以本地模式和Yarn模式分别测试程序。Spark程序在开发的时候，使用IDEA编写程序及调试过程如下： 一、项目创建 1、创建Scala的Maven项目，pom.xml文件如下所示：...
Spark远程调试配置，在IDEA中的配置
涂作权的博客
07-09 2059
关于Spark集群部署参考：http://blog.csdn.net/tototuzuoquan/article/details/74481570一、Spark远程调试配置：#调试Master，在master节点的spark-env.sh中添加SPARK_MASTER_OPTS变量 export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_so
IntelliJ IDEA中运行Java/Scala/Spark程序的步骤与技巧
"在IntelliJ IDEA中创建和运行java/scala/spark程序的方法" 在现代软件开发中，IntelliJ IDEA是一款备受推崇的集成开发环境（IDE），尤其对于Java和Scala开发者而言。本文将深入探讨如何在IntelliJ IDEA中创建和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值