windows 客户端使用IDEA远程调试Linux中 spark 代码

最新推荐文章于 2024-04-04 22:46:57 发布
最新推荐文章于 2024-04-04 22:46:57 发布
阅读量804 收藏 4
点赞数
分类专栏： java 文章标签： intellij-idea linux java 后端 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67403188/article/details/126552227
版权

Remote连接

在进行完一下操作之后，就可以连接到Linux的spark

步骤：Run -> Edit Configurations… -> Remote -> spark -> Host(虚拟机的ip地址) Post(10000端口)

SFTP连接

SFTP连接的作用就是可以在IDEA中查看和操作Linux中的文件

步骤： Tools -> Deployment ->Configurations -> + -> SFTP -> SSHConfiguration

远程操作Linux命令窗口

就是可以通过ssh连接到Linux虚拟机，直接通过命令操作虚拟机，跟Xshell一样的功能

步骤： Tools -> Start ssh session…

m0_67403188
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
windows下运行spark程序
funny75的专栏
02-04 4254
linux普通用户开发spark程序时，由于无法使用IDEA的图形化操作界面，所以只能大包围jar，用spark-submit提交，不是很方便， spark的local模式可以方便开发者在本地调试代码，而不用打包为jar用spark-submit提交运行，或是在spark-shell中逐行运行，下面是在windows上运行sparkPi的代码及结果package comimport scala.ma
Tomcat使用IDEA远程Debug调试的讲解
08-26
今天小编就为大家分享一篇关于Tomcat使用IDEA远程Debug调试的讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
idea远程调试spark的步骤讲解
08-26
今天小编就为大家分享一篇关于idea远程调试spark的步骤讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
Spark在Windows下使用Hadoop
qibuzhe0213的博客
11-29 2034
一、下载适用Linux系统的Hadoop安装包（*.tar.gz） 官网连接 选择需要的版本，此处以3.3.0为例 二、下载Hadoop的Windows版本的二进制文件 GitHub链接 注意事项：接下来使用时，应选择与第一步中Hadoop主版本号相同的（3.3.0 -> 3.0.0） 三、配置环境变量 注意事项： 1.Scala依赖JDK，需要先配置Java的环境变量 2.Windows系统在安装JDK时，默认的文件路径包含空格（D:\Program Files\），进行Java开发不会产生影响
IDEA创建spark maven项目并连接远程spark集群
最新发布
2401_84024576的博客
04-04 154
【代码】IDEA创建spark maven项目并连接远程spark集群。
【Spark实战】Windows环境下编译Spark2 Linux上部署Spark On Yarn
coding and writing and 承接需求
07-05 913
Windows环境下编译Spark2 Linux上部署Spark On Yarn
windons下远程提交任务搭配linux上的spark集群
dotedy的博客
01-07 1048
一、开发环境：      操作系统：win8 64位      IDE：IntelliJ IDEA      JDK：1.7      scala:scala-2.11.7      spark：linux上spark集群版本：1.4.1，本地依赖spakr的jar直接拷贝linux上$SPARK_1.4.1-hadoop2.4.0.jar       mave
Spark集群搭建
CITTB的博客
06-15 511
积极
Spark3集群与IDEA远程运行-spark3集群与idea远程运行
峰
03-31 406
单节点完成全部工作，一般用于调试、演示等，优点是方便，缺点是单机性能有限解压Spark并配置环境变量即可使用（WIndows环境下还需要相应版本的winutils）spark-shell启动本地模式。
使用IDEA-Big Data Tools连接远程Spark服务器
LittleSeedling的博客
02-11 4028
使用IDEA连接远程Spark服务器场景步骤搭建Spark集群远程连接Spark内容说明执行过程 参考： How to submit code to a remote Spark cluster from IntelliJ IDEA（并没有答案） Big-Data-Tools: Run applications with Spark Submit 使用 Docker 快速部署 Spark + Hadoop 大数据集群 场景 使用 主机S1 的Docker搭建了Spark集群，其中 主机A： - Spa
hadoop集群搭建、spark集群搭建、pyspark搭建（linux+window）
lfx1997的博客
10-28 1391
linux和window上安装pyspark库。
如何基于Idea远程调试tomcat war包及jar包
09-07
主要介绍了如何基于Idea远程调试tomcat war包及jar包,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Idea远程调试代码JDK1.8
03-08
1.手动调试成功的Idea远程调试的教程，分享出来，希望会有帮助。
idea远程调试代码（图文详细）
08-06
这几天，我做的项目中需要使用第三方的 API，在第三方的 API 回调时，出现各种错误，需要远程调试。之前做远程调试的时候，我只会在代码中输出日志，记录下来做分析处理，但这样做既麻烦又费时，往往还不能准确定位...
windows远程提交Spark作业到linux集群，并尝试多种模式运行
王某的博客
05-10 2874
本地构建java+scala混合工程： 测试使用本地win10做driver java远程提交代码到集群 sparkContext版本 sparkSession版本 scala远程提交代码到集群 sparkContext版本 sparkSession版本 本地构建java+scala混合工程： 创建maven项目，选择scala-archetype-simp...
idea 远程调试linux上的代码
张紫娃的博客
12-22 546
开发过程中，我们经常会遇到部署的代码运行出问题、看日志由不是很直观、我们希望可以像调试本地代码一样去调试远程代码;IDEA提供了Remote工具,基于JVM的跨平台能力，我们可以远程调试部署的代码。
idea调试linux发布的应用
hyly_zhard的博客
03-17 805
很多时候，由于环境的不同会造成很多莫名其妙的问题，因此我们来介绍一下，不同机器的远程调试。 环境说明： 1、打包好的应用使用的端口是8081。 2、调试的端口是80。 3、linux的ip地址是192.168.20.12。 配置步骤： 1、windows中开发的项目打包，传到linux系统。 2、在linux命令中，使用以下命令启动打包好的应用。 java -Xdebug -Xrunjdwp:t.........
idea连接虚拟机spark（2021-07-24）
qq_38220334的博客
07-24 3483
说明：本地在idea连接虚拟机时遇到了很多问题，为了以后避免入坑，特记录文档如下，包括我搭建的集群环境及idea中是怎么配置的，中间遇到问题报错记录及解决方法 一、集群环境： 大数据各个组件版本 192.168.15.10 192.168.15.11 192.168.15.12 jdk1.80 √ √ √ hadoop-2.6.1 √ √ √ mysql5.7 √ hive √ Scala √ √ √ spark √ √ √ 二、本地windows环境： 1.
idea中使用spark sql远程连接hive
06-28
在IDEA中使用Spark SQL远程连接Hive，需要进行以下步骤： 1. 首先，需要在IDEA中添加Hive的JDBC驱动，可以通过Maven或手动添加方式进行。 2. 在代码中创建SparkSession对象，并设置Hive的元数据存储位置和Hive的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值