如何使用IDEA中的Big data tools 连接远程服务器docker中的HDFS？

最新推荐文章于 2024-07-26 12:35:53 发布
最新推荐文章于 2024-07-26 12:35:53 发布
阅读量2.4k 收藏
点赞数 1
分类专栏： 大数据 文章标签： docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43848469/article/details/123981001
版权
本文介绍了如何在IntelliJ IDEA中使用BigDataTools插件连接到运行在Docker容器内的HDFS。当直接访问HDFS的8020端口失败时，问题通常在于端口未正确映射。解决方法是在Docker容器的Namenode节点上设置端口映射，例如将主机端口映射到容器的8020端口，从而实现IDEA对HDFS的访问。
摘要由CSDN通过智能技术生成

如何使用IDEA中的Big data tools 连接远程服务器中的HDFS？

​ 这几天遇到一个需求，就是想要在IDEA中通过Big data端口连接docker中的hdfs,这样以便于IDEA直接访问HDFS,

问题

​ 在IDEA中直接访问IP:8020端口无法连接，会显示本地没有访问资格，这时候是因为docker中的8020端口没有成功映射，于是只需要加入端口映射的命令就行了，我的容器部署如下，

image-20220406025513536

只要在namenode节点中加入映射就能成功。

image-20220406025545716

示例

image-20220406025648565

只想做打工人
关注
专栏目录
win10中用Intellij IDEA连接虚拟机Hadoop
OwnYoung的博客
12-09 5994
win10中用Intellij IDEA连接虚拟机Hadoop 确保安装好了jdk1.8以上&maven3.0以上，hadoop cmd命令查看 maven安装教程 hadoop文件解压，bandzip报错，所以安装winrarcmd解压： 确保hadoop正常运行： 可能报错： Hadoop Error: JAVA_HOME is incorrectly set 在网上搜索了下资料发现原来是路径上包含了一个空格 解决办法：用路径替代符 C:\PROGRA~1\Java\jdk1.8.0_9
学习记录-docker配置与运行hadoop时出现的问题和错误
bell_love的博客
05-20 976
文章目录遇到的问题及解决方法补充 Docker 版本 19.03.13 hadoop 版本 2.7.0 用docker搭建hadoop伪分布式集群 参考文章：Docker安装分布式Hadoop 遇到的问题及解决方法 Hadoop配置后没有NameNode进程的解决方法 Hadoop配置后没有NameNode进程怎么回事？ hadoop启动后jps查不到namenode的解决办法 缺少DataNode进程的解决办法 hadoop——缺少DataNode的解决办法 对于hadoop守护进程缺少Secondar
idea intellij 连接hadoopHDFS插件
12-21
自己编译的插件，可连接hdfs，在idea设置plugin里面选择从磁盘安装插件。
big data tools连接远程服务器上的HDFS等部件
只想买把蝴蝶knife
05-27 654
big data tools连接远程服务器上的HDFS等部件 ​ 最近在IDEA中遇到了连接服务器HDFS的需求，如下图所示 这样可以方便的看到HDFS的文件结构，其中连接远程需要使用tunneling进行连接，首先连接上ssh，然后直接连接9000端口就好了（端口根据namenode 的设置有关系） ...
高版本idea使用Big Data Tools连接HDFS
qq_44007764的博客
05-28 9217
高版本idea使用Big Data Tools连接 Hadoop HDFS 注意：本方法仅适用于idea 2019.2版本及以上 1、安装 idea安装完成后看右侧边栏是否有Big Data Tools，如果有应该是如下图所示 1.1、如果没有则需要下载，大致步骤如下 (1) 打开idea，点击右上角file，然后点击setting (2)、进入里面的plugins界面，在搜索界面输入big data tools然后点击安装，安装完成过后重启 idea。 因为我自己的工具插件是安装好了的，所以就只能文
Big Data Tools插件(详细讲解安装，连接，包教包会
2401_84159783的博客
04-08 716
​ 在Jetbrains的产品软件中，均可以安装插件，其中：Big Data Tools 插件可以帮助我们方便操作HDSF，比如：IntelliJ IDEA（Java IDE），PyCharm （python IDE），DataGrip （SQL IDE）均可支持Bigdata Tool插件的安装。
HDFS技术之IDEA远程连接（二）
RivenDong
09-06 1059
文章目录1. IDEA远程连接1.1 实验需求：1.2 创建项目1.3 配置Modules 1. IDEA远程连接 1.1 实验需求： IDEA hadoop2.6_Win_x64-master /bin 目录下需要还有 对于该文件我已上传到我的CSDN下载页：hadoop-wins 1.2 创建项目 【file】 【new project】 【java】 【选择自己的JDK】 【next...
第9课：IDEA下的spark程序开发
slq1023的博客
01-30 1350
第9课：IDEA下的spark程序开发   1.下载IntelliJ IDEA: http://www.jetbrains.com/idea/ 选择社区版，要在centos上安装，需要下载.TARGZ，解压。 进入IDEA目录下的bin目录下，./idea.sh启动（需要提前安装好java，并设定好JAVA_HOME） windows下需要下载.exe文
ecw2c理解元数据：使用BigQuery k-means将4,000个堆栈溢出标签聚类
热门推荐
cunehu1722的博客
07-24 6万+
您如何将超过4,000个活动的Stack Overflow标签分组为有意义的组？ 对于无监督学习和k均值聚类来说，这是一项完美的任务-现在您可以在BigQuery中完成所有这些工作。 让我们找出方法。 Visualizing a universe of clustered tags. Felipe Hoffais a Developer Advocate fo...
GIS开源软件大全
afzhu2014的专栏
04-20 3208
开源公司 Mapbox- Helping you design your own map and presenting your data 提供地图瓦片服务、路径规划服务、地名搜索服务、在线制图服务以及私有地图服务器解决方案 Mapbox GL- Render Mapbox styles in mobile, desktop, and node applications using C+...
idea 配置连接远程hadoop 插件
04-23
idea hadoop-hdfs插件,和eclipse上一样的Hadoop hdfs的插件功能一样; 原生集群端口分别为50020和9000 cdh 集群 端口分别为8020和9000 ,不用点测试直接点应用即可
BigDataTools_for_intellij-213.5449.243
01-29
With this plugin, you can conveniently work with Zeppelin notebooks, run applications with spark-submit, produce and consume messages with Kafka, monitor Spark and Hadoop YARN applications, and work with following file storages: AWS S3 DigitalOcean Spaces Google Cloud Storage Hadoop Distributed File System (HDFS) Linode Microsoft Azure Minio SFTP Yandex Object Storage You can use this plugin in IntelliJ-based IDEs including IntelliJ IDEA Ultimate, PyCharm Professional, DataGrip and DataSpell.
windows下IDEA操作远程HDFS（云主机 | 虚拟机）
qq_40727267的博客
09-01 692
云主机 开放端口9000、50010 配置云主机hosts文件 配置windows hosts文件 注：两个hosts文件的主机名要一样，云主机用的是私网IP，windows用的是云主机的公网IP 添加配置参数 System.setProperty("HADOOP_USER_NAME", "hadoop"); #设置用户名 conf.set("dfs.replication", "1"); ...
HDFS的IDEA连接使用
qq_43325476的博客
01-19 2053
HDFS的IDEA连接使用 上一章我们已经学会了shell操作，这一章其实没有很重要，但是有刀不用和无刀可用是两个概念。本来打算昨天晚上写的，但是昨晚太困了，结果。。。。一上床就打王者去了。 开始准备文件： 下载Hadoop依赖：Apache Hadoop3.1.0 下面这个就自己找链接去了，百度太多了 IDEA的安装 jdk安装 准备Windows关于Hadoop的开发环境 3.1 准备Windows关于Hadoop的开发环境 1、找到资料目录下的Windows依赖目录，打开： 2、配置HAD
分布式文件系统—HDFS—IDEA的Hadoop可视化插件BigDataTools
sanmi8276的博客
01-24 2927
原文作者：？？? 原文地址：idea新工具Big Data Tools安装 Big Data Tools插件为了连接hadoop集群，可以在上面操作hdfs，方便好用。 1、首先下载Big Data Tools插件 在idea右边工具栏点击Big Data Tools。也可以在这里找到。 点击OK就可以了 ...
IDEA 中使用 Big Data Tools 连接大数据组件
JasonLee实时计算
05-23 1万+
简介Big Data Tools 插件可用于 Intellij Idea 2019.2 及以后的版本。它提供了使用 Zeppelin，AWS S3，Spark，Google Cloud Storage，Minio，Linode，数字开放空间，Microsoft Azure 和 Hadoop 分布式文件系统（HDFS）来监视和处理数据的特定功能。下面来看一下 Big Dat...
idea新工具Big Data Tools安装
qq_44930688的博客
05-30 1万+
##Big Data Tools插件安装（idea） Big Data Tools插件为了连接hadoop集群，可以在上面操作hdfs，方便好用。 1、首先下载Big Data Tools插件 注：在此我已经下载好了 在idea右边工具栏点击Big Data Tools。也可以在这里找到。 点击OK就可以了 不足之处，请多多指教！ .........
Hadoop3：HDFS的客户端工具Big Data Tools（IDEA版本）
最新发布
Brave_heart4pzj的博客
07-26 636
Hadoop
idea的big data tool 连接不上HDFS所有问题汇总：
YoYoYoWhatIsUp的博客
07-10 6172
idea用big data tool 连接HDFS所遇到的所有问题总结
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值