eclipse 连接hadoop 出现无法连接到hadoop(访问不到9000端口)

转载来源http://blog.csdn.net/yjc_1111/article/details/53817750 非常感激博主,这个问题困扰了快2天了,百度上什么都有的说但是不管怎么改还是连接不上。终于知道是端口的问题了


1、环境说明
hadoop-2.7.3
jdk1.8.0_112
阿里云 Ubuntu 14.04 64位

2、在配置文件是我配置的是9000端口。

这里写图片描述
3、MyEclipse连接9000代码(需要dfs相关jar包)。
这里写图片描述
4、端口访问
(1)之前在网上查了许多相关资料,无外乎是设置防火墙,开放9000端口;关闭防火墙;配置文件换成IP地址;等等。我不能说这些方法不对,至少有些问题确实是防火墙的限制。或者其他,毕竟同一个错误,会有许多引发原因。我的这个方法也只是解决一小部分的问题。
首先,利用netstat -tpnl查看的端口开放情况(之前一直没留意是这的问题)。
这里写图片描述
而与之相对于的hosts配置文件为
这里写图片描述
(2)通过查看端口发现,9000端口只允许本机访问,我远程连接当然会提示拒绝访问了。可能是Hadoop为了保证集群的安全性,默认的是本集群之间的访问,只允许配置的某一个IP访问吧。于是我想能不能把这个端口放开,允许所以IP访问。于是我把hosts中的文件做了下面的修改。
这里写图片描述
将hadoop-master指向的IP地址只想0.0.0.0,然后重启hadoop查看端口占用。
这里写图片描述
再用MyEclipse-hadoop插件,测试连接成功。

这里写图片描述
注:本人刚开始学习Hadoop,说的不对的地方希望大家指正。同时也希望这个方法对大家有用。
另外,这种方法不建议大家在生产环境使用,毕竟任何一个IP地址都可以访问到你的Hadoop文件系统。

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Eclipse连接 Hadoop,需要进行以下步骤: 1. 安装 HadoopEclipse 插件 HadoopEclipse 插件叫做 Eclipse Plugin for Hadoop (EPH),可以从 Hadoop 官方网站或 GitHub 上下载。 下载地址: - 官方网站:http://hadoop.apache.org/releases.html#Download - GitHub:https://github.com/winghc/hadoop2x-eclipse-plugin 2. 安装 Eclipse 如果还没有安装 Eclipse,需要先下载并安装。 下载地址:https://www.eclipse.org/downloads/ 3. 将 EPH 安装到 Eclipse 将 EPH 解压后,将里面的 hadoop-eclipse-plugin-2.7.3.jar 文件复制到 Eclipse 的 plugins 目录下。 例如,如果 Eclipse 安装在 D:\eclipse 目录下,那么将 hadoop-eclipse-plugin-2.7.3.jar 复制到 D:\eclipse\plugins 目录下。 4. 配置 Hadoop连接信息 打开 Eclipse,依次选择 Window -> Preferences -> Hadoop,然后配置 Hadoop连接信息,包括 Hadoop 安装路径、Hadoop 配置文件路径、Hadoop 的 MapReduce Job Tracker 和 HDFS Name Node 的连接信息。 5. 创建 Hadoop 项目 在 Eclipse 中创建一个新的 Java 项目,然后右键单击项目,选择 New -> MapReduce Job。根据需要填写 MapReduce Job 的名称、输入路径、输出路径、Mapper、Reducer 等信息。 6. 运行 MapReduce Job 在 Eclipse 中右键单击 MapReduce Job 类,选择 Run As -> Run on HadoopEclipse 将会自动将 MapReduce Job 打包成 JAR 文件,并提交给 Hadoop 集群运行。可以在 Eclipse 的 Console 视图中查看 MapReduce Job 的运行日志。 以上就是 Eclipse 连接 Hadoop 的基本步骤。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值