Hadoop远程提交作业，返回内网IP问题

最新推荐文章于 2023-03-15 18:40:28 发布
最新推荐文章于 2023-03-15 18:40:28 发布
阅读量386 收藏
点赞数
文章标签： hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HFUT_SIAS/article/details/97627898
版权

需要在hdfs-site.xml中修改配置项dfs.client.use.datanode.hostname设置为true，就是说客户端访问datanode的时候是通过主机域名访问，就不会出现通过内网IP来访问了

但同时切记，其他所有配置项设计到主机的，都不能再出现ip，必须用相应ip对应的hostname来代替。

尝试过端口转发，以失败告终

别逗，写BUG呢
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
解决外网无法访问HDFS文件系统②
02-01 3227
本地HDFS的javaAPI访问云服务器之上的Hadoop
Failed to connect to /xxx.xxx.xxx:50010 for block, add to deadNodes and continue
forborn的博客
12-25 4473
记录： 用java通过api读取hdfs上面的文件是，出现了 Failed to connect to /xxx.xxx.xxx:50010 for block, add to deadNodes and continue 这是由于本地测试和服务器不在一个局域网,安装的hadoop配置文件是以内网ip作为机器间通信的ip.在这种情况下,我们能够访问到namenode机器,namenode会给我们数...
解决方案：外域HDFS客户端访问内网HDFS datanode
学亮编程手记
07-31 1938
客户端机器报错 外域机器通信需要用外网ip，未配置hostname访问会访问异常，namenode return hosts to hadoop client，the hosts is inner ip，outter client can not request by inner ip. so need config **dfs.client.use.datanode.hostname** in otter client. 解决方案 服务器客户端，hdfs-site.xml 配置客户端用hostname方式
用vscode写微信小程序时，设置自动将less文件编译成wxss文件
weixin_44218060的博客
01-09 2200
##第一步：下载easy less插件 ##第二步：在设置setting文件中进行配置 ###打开设置setting文件 ##第三步：在setting.xml中添加如下配置： "less.compile": { "outExt": ".wxss" } 重新新建less保存就可看到自动生成wxss文件了 ...
hadoop client返回内网ip报错ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: RECEIVED SIGNAL 15: SIGT
weixin_42599429的博客
04-07 3448
在hdfs-site.xml加入 <property> <name>dfs.client.use.datanode.hostname</name> <value>true</value> </property> 重启集群 hadoop dfsadmin -refreshNodes client代码加入 configuration.set("dfs.client.use.datanode.hostna.
hadoop实验+作业.zip
01-14
刘一之--实验.docx"和"分析-201806021513-刘一之--作业.docx"，我们可以推测这些文档可能包含了刘一之同学在2018年6月2日进行的Hadoop实验的详细步骤、数据分析结果以及作业解答，涵盖了实验过程中的观察、问题分析...
Hadoop实战大数据大作业
06-08
一个基于Hadoop平台进行的单词统计系统，其中包含了伪分布架构，并且包含HDFS数据存储，结合Java后台利用Mapreduce架包进行单词的统计与分析。包含了完整的实践过程，内涵源代码，以及实验命令，内容丰富，实验过程...
hadoop提交作业分析.doc
09-29
【Hadoop 作业提交流程详解】 在Hadoop生态系统中，提交一个MapReduce作业通常通过执行类似`bin/hadoop jar xxx.jar mainclass args`的命令来完成。这个过程看似简单，实际上涉及到了多个步骤和组件的交互。下面...
Hadoop+Spark大数据技术 第三次作业
最新发布
03-27
Hadoop+Spark大数据技术 第三次作业
大数据编程期末大作业-Hadoop
03-11
大数据编程期末大作业 一、Hadoop基础操作 二、RDD编程 三、SparkSQL编程 四、SparkStreaming编程
无法访问服务器的hdfs
beOkWithAnything
02-14 1123
我们访问namenode机器，namenode会给我们数据所在datanode的ip地址供我们访问数据传输服务, 但是返回的的是datanode内网的ip,我们无法根据该IP访问datanode服务器. 报错如下 2018-06-06 17:01:44,555 [main] WARN [org.apache.hadoop.hdfs.BlockReaderFactory] - I/O error constructing remote block reader. java.net.ConnectEx
-Hadoop的HDFS
weixin_43737594的博客
10-12 101
历史记录查看 启动历史记录服务 mapred --daemon start historyserver ​ ​ jps ​ ## 拓展 查看端口对应的程序是否启动 lsof -i:端口 web页面访问 9870 hdfs 8088 yarn 19888 历史记录 拓展--DNS解析 202.108.22.5 www.baidu.com 当我们使用域名访问网站时会通过dns服务器将域名转化为ip，最终通ip地址访问网站 本机hosts文件可以完成域名解析工作 windos的h..
eclipse远程访问虚拟机中的hadoop（hdfs）报超时错误解决办法
ZYT152的博客
04-19 852
注意：本方法适合于这种错误 经过我测试，虚拟机中的hadoop安装没有问题，eclipse连接虚拟机的插件没有问题，但是就是eclipse连接不上虚拟机的hdfs且，DFS Location没有不显示目录内容。在研究了个把小时之后，突然意识到是防火墙没有关闭。下面给出关闭防火墙的有关步骤。 经查资料得知： 防火墙以及Selinux会导致后面一些有关大数据的实验出现问题，所以需要将其关闭。在...
hadoop的NameNode故障处理
LastYHM的博客
09-23 522
NameNode故障后，可以采用如下两种方法恢复数据。+ 1）将SecondaryNameNode中数据拷贝到NameNode存储数据的目录； （1）kill -9 NameNode进程 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.3/data/tmp/dfs/name） [user1@hadoop102 hadoop-3.1.3]$ rm -rf /opt/module/hadoop-3.1.3/data/dfs/name/* （3）拷贝SecondaryName
Hadoop之NameNode故障处理（了解）
zhongmingyu
03-15 1097
之后会用到Hadoop高可用（HA）,secondary namenode几乎不会用。
关于hdfs、yarn网页端可用IP地址访问不可用域名访问的解决方法
v15220的博客
02-16 859
关于hdfs、yarn网页端可用IP地址访问不可用域名访问的解决方法
hadoop远程登录
09-08
Hadoop是一个分布式计算框架，它提供了远程登录的功能。要进行Hadoop的远程登录，你需要使用SSH协议来连接到Hadoop集群的主节点或者某个工作节点。下面是一个简单的步骤： 1. 确保你已经安装了SSH客户端，如OpenSSH。 2. 打开终端或命令提示符，输入以下命令： ``` ssh username@hadoop_cluster_ip ``` 其中，`username`是你在Hadoop集群中的用户名，`hadoop_cluster_ip`是Hadoop集群的主节点或工作节点的IP地址。 3. 如果是第一次连接该节点，会有一个安全提示，输入`yes`确认连接。 4. 输入密码进行身份验证，如果密码正确，你将成功登录到Hadoop集群的节点。 请注意，确保你有正确的用户名和密码才能远程登录到Hadoop集群。另外，具体的步骤可能会因为你所使用的Hadoop发行版和配置而有所不同。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值