linux环境下启动HA后，eclipse新建MapReduce project出现9000端口问题

最新推荐文章于 2020-10-25 11:29:28 发布
最新推荐文章于 2020-10-25 11:29:28 发布
阅读量921 收藏 2
点赞数
分类专栏： 大数据相关 文章标签： Linux Hadoop mapreduce eclipse
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_27747695/article/details/71750827
版权

在搭建好HA集群后，尝试创建MapReduce工程，然后就报错了


网上找了很多文章，折腾了好久，解决办法是：


对，就是DFS Master host 的端口问题

我在hdfs-site.xml文件中配置的rpc地址是这样的


最后连接正常


网上看到说default ns应该跟rpc的端口一致

我遇到的问题是这样解决的，给大家一个参考

sinat_27747695
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce编程入门--用eclipse创建MapReduce工程
m0_58945994的博客
10-22 4821
这里我用的事eclipse对MapReduce进行编程，首先需要下载相关的eclipse，eclipse可以用于多种语言的开发，这里我们需要用到的是Eclipse IDE for Java EE Developers，不难看出是针对Java开发的安装包。 在eclipse的安装目录中，需要讲插件hadoop-eclipse-plugin-2.6.0（这是我的插件版本）复制到Eclipse安装目录下的dropins这个目录下。 之后在Eclipse中需...
Eclipse配置Tomcat关于一个或多个端口无效报错
ymy67的博客
03-31 1658
eclipse tomcat
Eclipse中搭建MapReduce开发环境，构建普通的MapReduce项目详细步骤
weixin_43986204的博客
05-15 4371
一、Eclipse中搭建MapReduce开发环境 1.安装Eclipse（跳过） 2. 在Eclipse中安装Hadoop插件 下载hadoop-eclipse-plugin-2.7.3.jar包（对应你安装的hadoop版本） 下载好之后解压把hadoop-eclipse-plugin-2.7.3.jar复制到你安装eclipse的路径的plugins这个文件夹下（例如我的：D:\Tools\...
在Eclipse上如何进行Map/Reduce分布式计算
Dawn_Zi的博客
06-14 546
Eclipse分布式计算项目构建进行计算数据出现次数 **第一步：**在Eclipse中右键项目空白区域，NEW一个新的Other，选择Map/Reduce Project进行创建，输入项目名称后创建，如下图： **第二步：**在构建出来的项目下右键点击srcOther俩个新的类，一个为Mapper，另一个为Reducer，之后还要创建一个普雷的类，用来获取集群中文件路径和加载自己的集群配置...
Eclipse开发mapreduce程序环境搭建
feinifi的博客
08-30 3970
Eclipse作为一个常用的java IDE，其使用程度虽然比不上idea那么强大，但是对于习惯使用eclipse开发的人来说，也不失为一个可以选择的IDE。对于喜欢eclipse开发的人来说，就是想让他更加的智能化，更加的友好，比如开发mapreduce程序，我们可以利用hadoop-eclipse-plugin这个插件让eclipse能够可视化查看hdfs上的文件系统，并且可以创建ma...
eclipse-linux软件包-包含mapreduce的jar包
06-06
在Linux环境下使用Eclipse进行MapReduce开发，需要确保系统已经安装了Java Development Kit（JDK）和Hadoop环境。Eclipse通过插件机制支持MapReduce开发，例如Hadoop Eclipse Plugin，它可以将Eclipse与Hadoop集群...
eclipse的mapreduce插件
05-04
Eclipse的MapReduce插件是Java开发人员在Eclipse集成开发环境中进行Hadoop MapReduce程序开发的重要工具。这个插件允许开发者直接在Eclipse中编写、调试和运行MapReduce作业，极大地提高了开发效率和便捷性。它通过...
window下eclipse中运行mapreduce程序所需要的Hadoop全部jar包
01-07
在Windows环境下，使用Eclipse开发MapReduce程序时，必须确保所有必要的Hadoop库都被正确引入。这是因为MapReduce是Hadoop生态系统中的核心组件，用于处理分布式计算任务。以下是一些关于如何在Eclipse中配置和使用...
Linux环境下Hadoop搭建与Eclipse配置
01-30
在Linux环境下搭建Hadoop并配置Eclipse开发环境是大数据处理工作中的重要步骤。Hadoop是一个开源的分布式计算框架，主要用于处理和存储大规模数据。而Eclipse是一款强大的集成开发环境（IDE），通过特定的插件可以...
8-在Eclipse中运行MapReduce程序1
08-08
} } }}（2）将Hadoop配置文件添加到“WordCount” MapReduce项目将log4j.properties 复制到 WordCount 项目
MapReduce-project
05-15
MapReduce项目 组：cs132g7 概括 这是我们基本倒排索引的实现。 它实现了一个MapReduce作业，该作业最后给出了单词及其出现在其中的文档的有序列表。 从3月27日更新开始，它现在提供了令牌出现在每个文档中的令牌位置。 应该使用以下命令在hadoop集群上运行它： yarn jar cs132g7_inverted-index.jar Driver /data/wiki_csv /user/cs132g7/output 分解 上次修改时间：2018年3月27日 该代码分为6个文件： 驱动程序 这是执行文件，其中包含输入目录并指定输出目录。 但是，从此实现开始，它执行for循环以在HDFS上添加所有wiki-csv文件。 目前，这是硬编码的； 出于任何原因，在运行yarn jar命令时，/ data / wiki_csv都不被视为正确的路径。 从3月27日更新开
Windows和Linux环境MapReduce开发调试部署（eclipse和idea）
L
01-22 646
开发 Windows+eclipse （1）创建Map/Reduce项目         打开eclipse，点击File-->New-->Other-->Map/Reduce Project，按照步骤操作就可以创建一个Map/Reduce项目，与普通项目不同的是，当创建好Map/Reduce项目后，需要的Hadoop依赖包都自动从Hadoop安装目录中添加进来。如图： ...
彻底解决eclipse端口占用问题
Groople的专栏
04-04 1万+
使用eclipse开发Android软件的过程中，经常会看到以下错误：
解决Eclipse端口冲突问题
无所谓的专栏
05-08 1万+
欢迎有共同爱好者加734797702 1、在windows下如何查看80端口占用情况?是被哪个进程占用?如何终止等.         这里主要是用到windows下的DOS工具,点击"开始"--"运行",输入"cmd"后点击确定按钮,进入DOS窗口,接下来分别运行以下命令:         >netstat -aon | findstr "80"                 Proto
Hadoop本地开发，9000端口拒绝访问
热门推荐
yjc_1111的专栏
12-22 5万+
最近在学习Hadoop，忙了好几天，终于学会了Hadoop的分布式部署。可是在MyEclipse开发中，总是无法远程连接到Hadoop集群的9000端口。今天终于明白哪里配置错误了，在这分享给大家。希望对大家有用。 1、环境说明 hadoop-2.7.3 jdk1.8.0_112 阿里云 Ubuntu 14.04 64位2、在配置文件是我配置的是9000端口。 3、MyEclipse连接9
Eclipse构建普通的MapReduce项目
易水寒
09-01 8561
1.jdk环境配置         jdk安装后好后配置相关JAVA_HOME环境变量,并将bin目录配置到path  2. 下载hadoop-2.7.1.tar.gz,并且解压到你的路径下D:\XXXX\workspace\hadoop-2.7.1 https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2
hadoop服务快速部署
孟凡霄
10-25 567
这篇文章记录下针对不同的hadoop版本进行服务部署的过程，希望可以帮到你们 安装docker hadoop2.7.0 一键部署docker hadoop3.0.0集群(一个master 三个slave) 安装docker hadoop 3.2.0 a、docker启动 b、docker compose方式启动 安装hadoop 2.7.0版本 安装命令 docker run --name hdfs2.7.3 -d -p 9000:9000 -p 50070:50
使用Eclipse插件连接配置Mapreduce说明与教程(hadoop-eclipse-plugin 2.6)
huitoukest的专栏
03-18 6684
1.前言 网上的很多教程都是基于hadoop单机或者是伪分布式的,在HA集群的hadoop是有些不一样的; 所以写个hadoop-eclipse-plugin连接HA hadoop 集群的说明; 2.查看hadoop配置文件并配置DFS Master 查看hadoop/etc/hadoop下的配置文件; hdfs-site.xml  ----->找到dfs.namenode.rpc-ad
在eclipse环境下编写一个mapreduce程序
最新发布
04-11
可以使用Eclipse的Hadoop插件或者使用Eclipse自带的MapReduce框架来编写MapReduce程序。在Eclipse环境中配置好Hadoop的环境变量和连接信息后，就可以轻松地创建和运行MapReduce任务了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值