big data tools客户端远程连接hdfs的问题解决

最新推荐文章于 2024-05-07 17:59:44 发布
最新推荐文章于 2024-05-07 17:59:44 发布
阅读量595 收藏 7
点赞数 7
文章标签： 大数据 hdfs hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guitumanman/article/details/135518522
版权

（一）Home info is not found

说明： 这个问题可以说是big data tools 的一个小bug，它需要远程连接的hdfs节点的内容不能为空，所以在远程的hdfs创建一个文件夹就好了

（二）Hdfs Unable to load native-hadoop library

表示我们本地系统没有hadoop环境，缺少winutils.exe程序，我们需要在自己的电脑上安装一下这个插件,并且配置好hadoop的环境 变量

只要环境配置对，基本问题不大

环境配置流程：

解压Hadoop安装包到Windows系统，然后把hadoop.dll、winutils.exe两个文件放到hadoop的bin目录下。

winutils、dill文件下载地址：

cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows (github.com)

系统变量添加：
HADOOP_HOME=<hadoop目录位置>
Path路径添加：
PATH=%HADOOP_HOME%\bin

 使用Big Data Tools插件

 

 

Nightselfhurt
关注
  • 7
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
通过shell命令访问HDFS
m0_71128221的博客
10-24 1602
通过shell命令访问HDFS
2020.03版本idea ,big data tools 插件
08-08
总的来说，"2020.03版本IDEA"的"Big Data Tools"插件是为Java开发者提供的一站式大数据解决方案，它集成了大数据项目的创建、开发、测试和部署，使得大数据开发变得更加便捷和高效。如果你是从事大数据相关工作的...
big data tools 远程连接hdfs的步骤及问题总结
解忧小店
06-09 1363
big data tools 连接远程hdfs步骤及出现问题
idea的big data tool 连接不上HDFS所有问题汇总：
YoYoYoWhatIsUp的博客
07-10 5511
idea用big data tool 连接HDFS所遇到的所有问题总结
BigData（八）：HDFS
最新发布
风在江湖
05-07 1417
Hadoop的官网：http://hadoop.apache.org/ 简单介绍一哈子Hadoop的模块（部分）： Hadoop common: 公共包，是支持其他Hadoop模块的常用工具！ HDFS:分布式的文件系统！它可以是集群部署哦，多台服务器一个盘的效果，可提供对应用程序数据的高吞吐量访问。 Yarn: 作业调度和集群资源管理的框架。 MapReduce: 并发处理大型数...
big data tools连接远程服务器上的HDFS等部件
只想买把蝴蝶knife
05-27 594
big data tools连接远程服务器上的HDFS等部件 ​ 最近在IDEA中遇到了连接服务器HDFS的需求，如下图所示 这样可以方便的看到HDFS的文件结构，其中连接远程需要使用tunneling进行连接，首先连接上ssh，然后直接连接9000端口就好了（端口根据namenode 的设置有关系） ...
高版本idea使用Big Data Tools连接HDFS
qq_44007764的博客
05-28 8904
高版本idea使用Big Data Tools连接 Hadoop HDFS 注意：本方法仅适用于idea 2019.2版本及以上 1、安装 idea安装完成后看右侧边栏是否有Big Data Tools，如果有应该是如下图所示 1.1、如果没有则需要下载，大致步骤如下 (1) 打开idea，点击右上角file，然后点击setting (2)、进入里面的plugins界面，在搜索界面输入big data tools然后点击安装，安装完成过后重启 idea。 因为我自己的工具插件是安装好了的，所以就只能文
bigdata之HDFS
JasonZhangOO的博客
10-01 758
学习本篇博客需要有hadoop的基础，可以先看我的上一篇博客简单介绍hadoop，http://blog.csdn.net/jasonzhangoo/article/details/52718729 分布式文件系统即HDFS，在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类，一类叫“主节点”(Master Node)或者也被称为“名称结点”(NameNode)，另一类叫“从
window本机远程连接虚拟机的hdfs
e5bb96的博客
12-20 2350
服务器ip：192.168.66.128 测试主机能否连接虚拟机 ping 192.168.66.128 修改虚拟机hadoop中core-site.xml vim ./etc/hadoop/core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://192.168.66.128:9000</value> </property> 启动hadoop
远程访问hdfs
fangyunfeng的专栏
09-17 6738
java api 远程访问hdfs
Big Data Analytics with Hadoop 3
08-30
Once you have taken a tour of Hadoop 3’s latest features, you will get an overview of HDFS, MapReduce, and YARN, and how they enable faster, more efficient big data processing. You will then move on ...
Big Data Analytics with Hadoop 3 1st Edition
09-01
Apache Hadoop is the most popular platform for big data processing, and can be combined with a host of other big data tools to build powerful analytics solutions. Big Data Analytics with Hadoop 3 ...
Talend for Big Data(PACKT,2014)
12-29
This is a concise, pragmatic book that will guide you through design and implement big data transfer easily and perform big data analytics jobs using Hadoop technologies like HDFS, HBase, Hive, Pig, ...
通过Java client远程访问Hadoop Hdfs
sun_xo的博客
05-12 615
【代码】通过Java client远程访问Hadoop Hdfs
HDFS常用命令及使用Big Data Tools操作HDFS
皮皮虾的博客
06-18 622
HDFS常用命令 Big Data Tools
scala---spark本地调式远程获取hdfs数据注意事项
池海
05-12 1242
这篇文章主要帮大家绕开一些本地使用spark调试获取远程hdfs数据的坑，个人在使用时也是基本把这些坑踩了一遍。希望下面的内容能给到其它人一些帮助，少走弯路减少不必要的时间损耗。常见的坑大致就以上几点，配置环境时仔细一些基本不会有其它坑了。如果遇到其它无法解决的问题欢迎私信讨论。
远程连接hdfs的客户端工具HDFSExplorer&HadoopIntellijPlugin
thethefighter的专栏
06-19 2418
远程连接hdfs的客户端工具 HDFS Explorer port是yarn的ResourceManager的管理界面接口（可能是通过界面获取其他配置信息，不需要本地环境和配置文件设置） 可以上传下载查看远程hdfs文件 如果报无法连接localhost:50075端口,需要在hdfs-site.xml配置dfs.client.use.datanode.hostname=true，使用主机名访问。 idea的hadoop插件 下载HadoopInte...
远程HDFS文件的操作
huangpengbo2596的专栏
09-12 7505
因为手头项目涉及到远程HDFS文件的操作，所以打算学习一下相关操作。目前，网络上有很多操作HDFS文件的代码，但是它们基本上都没有描述清楚Configuration相关问题。经过摸索，终于实现远程HDFS文件读写的完整流程，在此希望各位看官交流学习。　　HDFS文件操作依赖的jar包是通过maven下载的，其相关依赖如下：<dependencies> <dependency>
big data tools 连不上hdfs
03-30
如果您无法连接到HDFS，请尝试以下步骤： 1. 确认HDFS服务正在运行。您可以通过运行以下命令来检查： ``` sudo systemctl status hadoop-hdfs-namenode sudo systemctl status hadoop-hdfs-datanode ``` 如果服务没有运行，请尝试启动它们： ``` sudo systemctl start hadoop-hdfs-namenode sudo systemctl start hadoop-hdfs-datanode ``` 2. 确认HDFS端口正在监听。您可以通过运行以下命令来检查： ``` sudo netstat -tuln | grep 8020 sudo netstat -tuln | grep 50010 ``` 如果端口没有监听，请尝试重新启动HDFS服务。 3. 检查您的网络连接。确保您的网络连接正常并且没有防火墙阻止了HDFS端口。 4. 检查您的big data工具的配置文件。确保您正确配置了HDFS的连接信息，并且用户名和密码正确。 如果您仍然无法连接到HDFS，请尝试查看HDFS服务日志以获取更多信息。您可以在以下位置查找日志文件： ``` /var/log/hadoop-hdfs/ ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值