win系统下的eclipse连接和使用linux上的hadoop集群

准备工作

先在win系统的hosts文件里添加以下内容

10.61.6.164master     //hadoop集群的master节点



一、首先在eclipse上安装hadoop插件

下载hadoop-eclipse-plugin-1.1.2.jar,将其拷贝到eclipse 安装目录下的plugins,再启动eclispe,这时在eclipse的File/New/other下会看到一下的内容,证明插件安装成功


二、在Window/show view/other里打开Map/Reduce Locations


打开后会有下图所示的窗口,点击右侧的紫色小象


会弹出下图所示的窗口


然后配置你的连接信息:

Location name:自己可以定义为任何名字

Host:是你的hadoop集群的master节点的ip地址

Port:必需按上图配置,当然如果你配置hadoop集群时将默认端口换了,此处则为你自己修改的端口号


配置完以后会在左侧目录栏里看到


三、配置程序运行参数(你的项目必需是mapreduce项目,并且已经添加hadoop里的所有jar包)

先在你的项目下建立一个in目录,并将data数据文件拷贝到其中,再将你的项目导出问jar文件,然后在你的项目的main函数里添加以下代码

conf.set("mapred.jar", "E://FreqItemSet.jar");//mapred.jar不能更改


右击你的项目,选择Run as/Run Configurations  


点击Arguments

在里面添加上图中的内容

Lee 文件在HDFS上的存储路径<dfs_path>

in/data 输入文件(本地路径)<input>

项集的大小k

1 支持度阈值<spt_dg>

out 输出文件<本地路径><output>

点击ok你的项目即可连接和使用你的hadoop集群了


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值