windows下用eclipse连接hadoop集群

最新推荐文章于 2021-02-17 02:31:20 发布
最新推荐文章于 2021-02-17 02:31:20 发布
阅读量1.6k 收藏 14
点赞数 1
分类专栏： Linux hadoop集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38048590/article/details/81271343
版权
本文记录了在Windows下使用Eclipse连接Hadoop集群的过程，包括安装插件、配置环境变量、处理Hadoop包以及解决连接和提交任务时遇到的问题，如端口匹配、权限问题和文件上传问题。
摘要由CSDN通过智能技术生成

最近因实习需要开始摆弄起了hadoop和spark相关的，记录一下我踩过的坑。由于linux下不好调试程序，因此记录一下用windows下的eclipse调试MapReduce程序。

环境：虚拟机VMware搭建的Ubuntu16.0.4集群，一个master，两个slaves

windows环境：64位，eclipse版本：Oxygen JAVA SE

准备环境：三台集群都搭好，其上能跑hadoop程序，这些我都已经自己试过了，通过在windows下写好的MapReduce程序能够打成jar包发送到集群上去跑。windows下也需要准备hadoop包，eclipse连接hadoop的插件，我这里用的是2.7.3版本的插件+2.6.5版本的hadoop包，由于windows环境的和linux环境不一样，因此hadoop包必须是经过处理的。有博客说这个步骤与运行环境无关，只是在新建工程的时候能将hadoop根目录和lib目录下的所有jar包自动导入。但是我试过还是要处理一下才行。

我这里用的插件是这个，1、将这个插件放入eclipse安装目录下的plugins插件中，重启eclipse。

2、此时打开eclipse，在window-->prefrences下可以发现多了一个Hadoop Map/reduce

最低0.47元/天 解锁文章
black_hnu
关注
专栏目录
解决win下eclipse连linux的hadoop集群连不上的问题
hunkyguy的专栏
10-19 2866
一、windows下的eclipse连接hadoop集群 1.加入eclipse的hadoop插件     下载hadoop-eclipse-plugin-X.jar，并加入到eclipse安装目录的plugins文件夹下     重启eclipse   2.解压hadoop的安装包到win本机     在eclipse中做如下配置     Window  → Preferences
eclipse本地配置远程连接Hadoop集群开发
qq_41058371的博客
09-02 425
eclipce（mar） 连接 HDFS 1.配置Windows环境API 1.1windows上部署hadoop包 部署包 Hadoop-2.6.5 源码包 hadoop-2.6.5-src lib整合包 hadoop-lib（前两个的jar包整合） 1.2 windows配置环境变量 配置 HADOOP_HOME 路径 指定到API包 D:\hadoop\usr\hadoop-2.6.5 把%HADOOP_HOME%\bin追加到PATH,分号隔开(LINUX 是冒号隔开) 配置HADOOP_USER
Java之美[从菜鸟到高手演变]之eclipse连接hadoop集群
热门推荐
智慧演绎，无处不在
01-18 1万+
新建Map/Reduce项目，进入/home/adam/hadoop/share/hadoop/mapreduce/sources目录，解压hadoop-mapreduce-examples-2.6.0-sources.jar包，将里面的WordCount.java复制到新建的项目里，点击Run Configurations配置启动参数。dfs.replication，默认是3，要根据你的Datanode的个数来定，如果你仅有2个datanode，那么就写2，如果只有一个，就写1，大于或者等于3个，写3。
eclipse 连接hadoop
qq_36770153的博客
07-13 354
window上做客户端应用开发，需要设置以下环境：A、在windows的某个目录下解压一个hadoop的安装包B、将安装包下的lib和bin目录用对应windows版本平台编译的本地库替换C、在window系统中配置HADOOP_HOME指向你解压的安装包，在windows系统的path变量中加入hadoop的bin目录D、将bin目录下的hadoop.dll复制到windows/system32...
Hadoop与eclipse连接
u011773633的博客
10-22 763
上一篇在win7虚拟机下搭建了hadoop2.6.0伪分布式环境。为了开发调试方便，本文介绍在eclipse下搭建开发环境，连接和提交任务到hadoop集群。 1. 环境 Eclipse版本Luna 4.4.1 安装插件hadoop-eclipse-plugin-2.6.0.jar，下载后放到
使用eclipse连接hadoop
luyaoguimeng的博客
02-21 917
1．将插件放入eclipse/plugin/下 将编译好的eclipse hadoop插件hadoop-eclipse-plugin-2.6.0.jar 拷贝到eclipse安装目录下的plugin目录下，重启eclipse2．配置Hadoop安装目录 打开Window -> Preference -> Hadoop Map/Reduce，，配置右面的”Hadoop installation
Eclipse连接Hadoop集群（详细版）
围炉夜敲的博客
10-16 1万+
相关连接 HDFS相关知识 Hadoop集群的安装与部署 Hadoop集群连接 HDFS Java API Eclipse连接Hadoop集群 注意事项 准备文件 具体步骤 WordCount程序运行示例
java远程Hadoop_windows下eclipse远程连接hadoop集群开发mapreduce
weixin_31815843的博客
02-17 624
转载请注明出处，谢谢2017-10-22 17:14:09之前都是用python开发maprduce程序的，今天试了在windows下通过eclipse java开发，在开发前先搭建开发环境。在此，总结这个过程，希望能够帮助有需要的朋友。用Hadoop eclipse plugin，可以浏览管理HDFS，自动创建MR程序的模板文件，最爽的就是可以直接Run on hadoop。1、安装插件下载ha...
Eclipse连接Hadoop集群及WordCount实践-附件资源
03-05
Eclipse连接Hadoop集群及WordCount实践-附件资源
eclipse连接hadoop集群
Joy_cj
06-15 1323
1.首先需要启动hadoop集群，如下：2.hadoop集群的启动后的进程：3.关闭防火墙和查看防火墙状态。4.配置本机用户名：   环境变量下面添加如下所示。配置后需要重启电脑用户名才可以生效。5.添加链接需要的jar包：D:\LearningTool\eclipse\plugins  到该路径下...
Eclipse 连接不上 hadoop 的解决办法
08-12 978
先说一下我的情况，集群的 hadoop 是 1.0.4 ，之后在虚拟机上搭建了最新稳定版 1.2.1 之后，Eclipse 插件始终连接不上。 出现 Error: Call to 192.168.1.188/192.168.1.188:9001 failed on connection exception: java.net.ConnectException: Connectio...
Eclipse远程连接Hadoop
JasonZhangOO的博客
03-12 1857
先说下我自己laptop没有hadoop环境（虚拟机中有伪分布式，不过是为了熟悉hadoop啦），也没有像网上那样用cygwin，主要得益于实验室服务器上师兄之前搭建了hadoop集群，之前一直用xshell连接的。不过后面要写mapreduce程序的时候在本地写再打包成jar放到hadoop上跑就没法本地运行测试了。所以这里是记录：本机eclipse远程连接hadoop集群，使用hadoop2x-
谈win7下Eclipse环境中向安装在虚拟机中的Hadoop中上传文件为空的解决方法
GraceThinker的博客
04-29 9645
本博文解决在win7下的Eclipse中向安装在虚拟机中的Hadoop上传文件为空的问题。解决方法主要包括以下几点：（1）将win7和虚拟机的IP地址设置为同一网段，（2）将虚拟的网络适配器选择为桥接模式，（3）将win7的TCP/IPv4设置为自动获取。（4）关闭虚拟机和win7的防火墙。
ecplise连接hadoop成功却不能进行文件操作的问题
FA的博客
04-02 488
1.Permission denied: user=wuhon, access=WRITE, inode="/":fafa:supergroup:drwxr-xr-x 2.in thread "main" org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "hdfs"
【甘道夫】Win7环境下Eclipse连接Hadoop2.2.0
FBI启示录
04-16 3290
准备： 确保hadoop2.2.0集群正常运行 1.eclipse中建立java工程，导入hadoop2.2.0相关jar包 2.在src根目录下拷入log4j.properties，通过log4j查看详细日志 log4j.rootLogger=debug, stdout, R log4j.appender.stdout=org.apache.
windows下的eclipse连接hadoop集群中遇到的问题
bryyj的博客
07-19 716
前提条件： 虚拟机上已部署好hadoop集群（hadoop-2.5.0） 在网上下载hadoop-eclipse-plugin-2.5.0.保存至eclipse\plugins中 配置步骤： 1 window->preferences,添加hadoop的解压包所在的路径 2 window->Open perspective->other->map/reduc
window中eclipse连接hadoop常见错误
南方的乖崽崽的博客
06-26 912
1、打开eclipse时，没有发现hadoop map/reduce 没有安装对应的hadoop-eclipse-plugin 将下载好的jar包，移动到eclipse安装目录里的dropins中。即可 2、新建hadoop连接时的端口 没有人为指定时默认为9001，9000。也可以自行查看文件core-site.xml中设置fs.defaultFS选项 3、在eclipse中出现的错误: 在类 com.yyq.hdfs.HDFSDemo 中找不到 main 方法, 请将 main 方法定义为:
Windows环境下采用eclipse连接虚拟机中的Hadoop伪分布式集群
quintind的专栏
09-06 1万+
目的及意义 学会搭建伪分布式集群环境，以便于理解MapReduce及HDFS； 采用eclipse与伪分布式集群连接有利于分布式程序的调试； 现在网络上的文章多是介绍如何搭建伪分布式集群或者是仅介绍在eclipse中如何连接已建立好的伪分布式集群，且大部分介绍都是基于hadoop1.x系列。 软件列表 序号 软件名称 功能 1 hadoop-2.6.0-x64.tar.gz 实
Eclipse连接远程Hadoop集群教程
"本文档提供了将Eclipse与服务器端Hadoop集群连接的步骤，适用于使用Java进行Hadoop开发的用户。文档提供了两种配置方法，一种是直接解压预配置的文件，另一种是手动添加hadoop-eclipse-plugin-1.0.4.jar到Eclipse...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值