windows 客户端使用IDEA远程调试Linux中 spark 代码

最新推荐文章于 2022-02-11 14:00:48 发布
最新推荐文章于 2022-02-11 14:00:48 发布
阅读量3.2w 收藏 2
点赞数 1
分类专栏： linux spark hadoop 文章标签： linux hadoop spark hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Stybill_LV_/article/details/115128914
版权
linux 同时被 3 个专栏收录
12 篇文章 0 订阅
订阅专栏
spark
5 篇文章 2 订阅
订阅专栏
hadoop
1 篇文章 0 订阅
订阅专栏

Remote连接

 在进行完一下操作之后，就可以连接到Linux的spark

步骤：Run -> Edit Configurations... -> Remote  -> spark  ->  Host(虚拟机的ip地址)   Post(10000端口)

SFTP连接

SFTP连接的作用就是可以在IDEA中查看和操作Linux中的文件

步骤： Tools  -> Deployment  ->  Configurations  ->  +  ->  SFTP  ->  SSH Configuration

远程操作Linux命令窗口

就是可以通过ssh连接到Linux虚拟机，直接通过命令操作虚拟机，跟Xshell一样的功能

步骤： Tools  ->  Start ssh session... 

小码爱撞墙
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
IntelliJ Idea开发spark程序及运行
08-25
IntelliJ Idea开发spark程序及运行文章的源码，程序简单入门。 项目中缺这个包，请读者自行补上，在SPAKRK_HOME/lib下面有 spark-assembly-1.6.0-hadoop2.6.0 代码指导文章地址： http://blog.csdn.net/jameshadoop/article/details/52313229
Windows下IntelliJ IDEA中调试Spark Standalone
weixin_30699465的博客
02-01 204
参考：http://dataknocker.github.io/2014/11/12/idea%E4%B8%8Adebug-spark-standalone/ 转载请注明来自：http://www.cnblogs.com/yuananyun/p/4265706.html 研究Spark源码也有一段时间了，一直都是直接看代码，没有调试。虽然带着思路去...
window+idea搭建远程调试spark环境
sxj的专栏
09-24 1988
1、首选创建项目，创建方法请看：https://blog.csdn.net/sunxiaoju/article/details/101229620 2、添加远程同步目录(或者叫远程映射)，首选选择Tools->Deployment->Configuration...，如下图所示： 3、然后选择+号，选择SFTP，如下图所示： 4、输入名称，如下图所示： 5、输入要远...
idea远程调试Linux代码
qq_30466603的博客
12-07 620
前提，保证本地代码和服务器上一致 1.添加启动方式 ![image.png](https://img-blog.csdnimg.cn/img_convert/b40713cbaa08108ff0b8973750c4117f.png#clientId=u0a0feeec-7a37-4&from=paste&height=182&id=u96a239ae&margin=[object Object]&name=image.png&originHeight=3
windows远程提交Spark作业到linux集群，并尝试多种模式运行
王某的博客
05-10 2902
本地构建java+scala混合工程： 测试使用本地win10做driver java远程提交代码到集群 sparkContext版本 sparkSession版本 scala远程提交代码到集群 sparkContext版本 sparkSession版本 本地构建java+scala混合工程： 创建maven项目，选择scala-archetype-simp...
idea远程调试spark的步骤讲解
08-26
"Idea远程调试Spark的步骤讲解" 远程调试Spark是指在集群上运行的Spark项目出现问题，但是在本地无法重现时，通过远程调试的方式来一步一步跟踪代码的过程。下面是远程调试Spark的四步骤： 第一步：jar包拷贝到...
如何基于Idea远程调试tomcat war包及jar包
09-07
IntelliJ IDEA（Idea）提供了强大的远程调试功能，使得开发者可以在本地环境中进行远程调试，极大地提高了开发效率。下面我们将详细讲解如何基于Idea进行远程调试Tomcat上的war包和jar包。 ### 一、war包方式 1. *...
Idea远程调试代码JDK1.8
03-08
在Java开发过程中，远程调试是一项非常实用的功能，它允许开发者在不访问服务器本地环境的情况下，对...正确执行这些步骤后，开发者就可以在本地环境中轻松地调试远程服务器上的Java应用，提高问题定位和修复的效率。
Tomcat使用IDEA远程Debug调试的讲解
08-26
本文主要介绍了如何使用集成开发环境IntelliJ IDEA (IDEA)进行远程Debug调试Tomcat服务器，这对于解决线上问题和优化代码效率非常有帮助。以下是详细的步骤和注意事项： 首先，我们需在Tomcat的运行环境中进行配置...
idea远程调试代码（图文详细）
08-06
2. **本地代码与远程代码不一致**：确保IDEA中使用的代码与远程服务器上的代码完全一致，否则可能导致调试失败。 #### 六、总结 通过上述步骤，我们可以有效地使用IDEA进行远程调试，极大地提高了调试效率并减少了...
win10本地远程调试Linux spark
酒逢知己千杯少,欢迎驾临
09-10 170
idea 远程调试spark集群
在IDEA打包SPARK程序到linux环境下执行
qq_43634424的博客
12-10 2195
IDEA打包spark到linux上运行，亲测有效
idea连接虚拟机spark（2021-07-24）
qq_38220334的博客
07-24 3641
说明：本地在idea连接虚拟机时遇到了很多问题，为了以后避免入坑，特记录文档如下，包括我搭建的集群环境及idea中是怎么配置的，中间遇到问题报错记录及解决方法 一、集群环境： 大数据各个组件版本 192.168.15.10 192.168.15.11 192.168.15.12 jdk1.80 √ √ √ hadoop-2.6.1 √ √ √ mysql5.7 √ hive √ Scala √ √ √ spark √ √ √ 二、本地windows环境： 1.
spark-测试模式-在windows中连接虚拟机中cdh集群的hdfs和hive和linux单机模式
DCHAO的博客
01-07 1237
这个目录下有多有的配置文件：/etc/hive/conf.cloudera.hive/ 虚拟机和windows时间要相同，否则Caused by: KrbException: Identifier doesn’t match expected value the NTP socket is in use, exiting https://blog.csdn.net/ytp151730/article/details/48373679/ Hive support because Hive classes ar
使用IDEA-Big Data Tools连接远程Spark服务器
LittleSeedling的博客
02-11 4151
使用IDEA连接远程Spark服务器场景步骤搭建Spark集群远程连接Spark内容说明执行过程 参考： How to submit code to a remote Spark cluster from IntelliJ IDEA（并没有答案） Big-Data-Tools: Run applications with Spark Submit 使用 Docker 快速部署 Spark + Hadoop 大数据集群 场景 使用 主机S1 的Docker搭建了Spark集群，其中 主机A： - Spa
Win下用idea远程在hadoop上调试spark程序及读取hbase
qinglanmei的博客
12-13 2776
Win下用idea远程在hadoop上调试spark程序及读取hbase 环境： Win7 Jdk1.8 Hadoop2.7.3的winutils.exe工具 IntelliJ IDEA 2017.3 x64 IDEA 2017.3 的scala支持包 Spark2.1.1 Scala2.11.4 第0步 配置系统环境变量 0.1 Jdk1.8，Scala2.11.4配置就
在IDEA里运行spark
热门推荐
啊帅和和的博客
11-03 1万+
最近在学spark，想在本地的IDEA里配置关于spark的环境，然后在本地运行spark程序，一路上跌跌撞撞遇到很多坑，看了很多的博客，虽然也有很多搭建的过程，但我遇到了太多的问题，所以特此记录一下。 文章里所提到的各类配置文件的下载网址在最后。 在IDEA里运行spark所需要的前期准备事项： 1.本地电脑里已经配置完成Scala 2.本地电脑里已经配置完成maven 3.本地电脑里已经配置完成Hadoop （这里推荐本地电脑里配置这几种版本的Hadoop： 1、Hadoop-2.6.3 2、Hadoo
idea实现远程连接linux服务器 idea+ssh 实现免密登录+文件传输上传与下载
峰子哥哥的博客
11-01 3502
还在为远程连接服务器困扰吗？还在为怎么选择第三方sftp、shell连接工具发愁吗？还在为破解xshell xsftp绞尽脑汁吗？ 早就不用这么麻烦啦，idea早就支持配置ssh连接免密登录并传输文件，三分钟即可完成所有配置 首先：Tools >>> Deployment >>> Configuration... 弹出如下图界面，单击左上角 + 输入 Nam...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小码爱撞墙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值