使用Eclipse编译运行MapReduce程序

最新推荐文章于 2020-05-07 10:56:16 发布
最新推荐文章于 2020-05-07 10:56:16 发布
阅读量4.9k 收藏 32
点赞数 4
分类专栏： 大数据 文章标签： 使用Eclipse编译运行MapReduce程序
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014072118/article/details/85951506
版权
本文介绍了如何在Eclipse环境下编译和运行MapReduce程序。首先，需要下载并安装64位Eclipse及Hadoop-Eclipse-Plugin。接着，配置fs.defaultFS为hdfs://zhd:9000，并确保Hadoop已启动。配置完成后，可以在Eclipse中直接操作HDFS文件，避免使用命令行。最后，展示了如何创建MapReduce项目并设置运行参数。
摘要由CSDN通过智能技术生成

下载eclipse 64位: http://eclipse.bluemix.net/packages/mars.1/?JAVA-LINUX64
解压到安装目录

  1. 安装 Hadoop-Eclipse-Plugin
    要在 Eclipse 上编译和运行 MapReduce 程序，需要安装 hadoop-eclipse-plugin文件地址https://download.csdn.net/download/u014072118/10899835
    在继续配置前请确保已经开启了 Hadoop。
  2. 配置 Hadoop-Eclipse-Plugin
    启动 Eclipse 到preferences在这里插入图片描述
    切换 Map/Reduce 开发视图
    在这里插入图片描述
    在这里插入图片描述
    设置 fs.defaultFS 为 hdfs://zhd:9000，则 DFS Master 的 Port 要改为 9000。Map/Reduce(V2) Master 的 Port 用默认的即可，Location Name 随意填写
最低0.47元/天 解锁文章
小西转角
关注
专栏目录
调用MapReduce对文件中各个单词出现次数进行统计
Baiyu9527的博客
12-06 1278
调用MapReduce对文件中各个单词出现次数进行统计调用MapReduce对文件中各个单词出现次数进行统计一、安装环境二、需求分析1.创建hadoop账户2.设置Hadoop密码3.为Hadoop用户增加管理员权限4.更新apt5.安装vim6.安装SSH、配置SSH无密码登陆三、安装java环境1.安装JDK2.验证JDK安装情况3.安装 Hadoop3.1.3四、安装hadoop五、Hadoop单机配置(非分布式)六、Hadoop伪分布式配置1.修改配置文件2.格式化 NameNode3.开启Name
在Eclipse中运行第一个MapReduce程序
豹先生
12-12 1928
这是Hadoop学习全程记录第2篇，在这篇里我将介绍一下如何在Eclipse下写第一个MapReduce程序。  新说明一下我的开发环境：  操作系统：在windows下使用wubi安装了ubuntu 10.10  hadoop版本：hadoop-0.20.2.tar.gz  Eclipse版本：eclipse-jee-helios-SR1-linux-gtk.tar.gz
使用Eclipse编译运行MapReduce程序_Hadoop2.6.0_Ubuntu/CentOS
dantengc的博客
07-05 853
环境 本教程在 Hadoop 2.6.0 下验证通过，适用于 Ubuntu/CentOS 系统，理论上可用于任何原生 Hadoop 2 版本，如 Hadoop 2.4.1，Hadoop 2.7.1。 本教程主要测试环境： Ubuntu 14.04Hadoop 2.6.0（伪分布式）Eclipse 3.8 此外，本教材在 CentOS 6.4 系统中也验证通过，对 Ubunt
使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS
LLy_Alex的博客
02-28 587
使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS  2014-10-10 (updated: 2016-01-29) 19539 79 本教程介绍的是如何在 Ubuntu/CentOS 中使用 Eclipse 来开发 MapReduce 程序，在 Hadoop 2.6.0 下验证通过。虽然我们可以使用命令行编译打包运行自己的MapReduce
使用Eclipse编译运行MapReduce程序.doc
04-06
该文档的目录如下： 1.1实验目的 1.2实验环境 V 1.3实验步骤 1.3.1安装eclipse 1.3.2安装Hadoop- Eclipse Plugin 1.3.3配置Hadoop-Eclipse Plugin 1.3.4在Eclipse 中操作HDFS中的文件 1.3.5在Eclipse 中创建MapReduce项目 附:查看HDFS文件系统数据的三种方法
使用Eclipse编译运行MapReduce程序 Hadoop2.6.0/Ubuntu
xyjikl
05-10 1121
上篇介绍了使用命令行编译打包运行自己的MapReduce程序，使用 Eclipse 更加方便。要在 Eclipse 上编译和运行 MapReduce 程序，需要安装 hadoop-eclipse-plugin，可使用 Github 上的 hadoop2x-eclipse-plugin，测试环境： Ubuntu 14.04Hadoop 2.6.0Eclipse 3.8 本教程在 Ha
eclipse编译运行MapReduce程序
weixin_43709601的博客
05-07 1746
eclipse编译运行MapReduce程序 一、环境 Ubuntu16，Hadoop2.7.1 二、安装eclipse 你可以直接在Ubuntu的Ubuntu软件中心直接搜索安装Eclipse，在桌面左侧任务栏，不过我用这种方法安装之后Eclipse打不开，就参照了下面这个网站的安装步骤： Eclipse安装步骤 jdk安装可以参考这个网站的安装JAVA环境 三、安装配置Hadoop-Eclip...
在eclipse上运行MapReduce程序
zzu09huixu的专栏
07-21 2431
之前几次运行Hadoop程序，都是将Hadoop程序
使用Eclipse编译运行MapReduce程序 Hadoop2.7.1/Ubuntu
热门推荐
一个天秤座的架构师
12-13 2万+
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
使用Eclipse编译运行MapReduce程序 Hadoop2.7.3
Uncle_Orange的博客
07-18 925
使用Eclipse编译运行MapReduce程序 Hadoop2.7.31.安装hadoop、eclipse2.配置Eclipse主要参考博客：http://www.powerxing.com/hadoop-build-project-using-eclipse/2.1安装Hadoop-Eclipse-PluginHadoop-Eclipse-Plugin2.7.3下载地址：http://downl
使用Eclipse编译运行MapReduce程序_Hadoop2.6.0_Ubuntu16.04
duanyijiangzhi的博客
06-06 598
使用Eclipse编译运行MapReduce程序_Hadoop2.6.0_Ubuntu16.04 安装 Eclipse 在 Ubuntu 和 CentOS 中安装 Eclipse 的方式有所不同，但之后的配置和使用是一样的。 在 Ubuntu 中安装 Eclipse，可从 Ubuntu 的软件中心直接搜索安装，在桌面左侧任务栏，点击“Ubuntu软件中心”。 在右上角搜索栏中搜索 eclipse...
Eclipse编译、Hadoop集群运行MapReduce程序
风信子
03-05 2187
本文介绍的是如何在Windows中使用Eclipse来开发MapReduce程序，并打包成jar包在已经搭建好的hadoop集群环境上运行。 环境 Windows 7 Hadoop 2.7.3 Eclipse Mars Release (4.5.0) 安装Hadoop-Eclipse-Plugin 由于Windows系统下配置JDK环境和Eclipse的安装比较简单，所以此处省略其安装步骤。 ...
在eclipse下运行Map-Reduce程序
zhangbaoming815的博客
07-12 220
在eclipse下运行Map-Reduce程序: 1，在eclipse新建项目。 File-->New-->Other-->Map/Reduce Project 项目名可以随便取，如 HadoopTest 。 复制 hadoop 安装目录 /src/exa...
使用eclipse运行mapreduce程序
weixin_33730836的博客
08-05 98
　　今天使用http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html上的方式搭建一个基于Eclipse的mapreduce开发环境，在运行WordCount例子时出现错误，经过检查后才发现，装了hadoop2.0插件的Eclipse在右击选择“run on hadoop”时不会出现配置界面，因此无法为job配置hdfs的地址，具...
在Eclipse中直接运行Mapreduce程序
菜鸟的专栏
05-12 1285
1.把插件拷到eclipse插件包中（一定注意插件版本，否则会出错）； 2.把1号拷入widows系统system32文件夹下，把1,2拷入hadoop bin目录下 运行程序结果： 3.对应插件未上传，如需要可直接留言 4.同时注意代码中路径的设置：
MapReduce系列-eclipse运行MapReduce
weixin_41279060的博客
01-29 1204
1、eclipse安装hadoop的插件 下载 hadoop-eclipse-plugin-2.6.0.jar，将其放入 eclipse 的 \plugins 目录，并重启 eclipse，项目视图（Project Explorer）会多出一个DFS Locations文件夹，在 Window—>Show View—>Other—>MapReduce Tools—>Map/Reduce Loca
eclipse编译运行MapReduce
最新发布
05-19
要在 Eclipse 中编写和运行 MapReduce 程序，需要按照以下步骤进行设置： 1. 安装 Hadoop 和 Eclipse 插件 Hadoop Eclipse Plugin。可以从 Apache Hadoop 官网下载 Hadoop 并按照说明进行安装。Hadoop Eclipse Plugin 可以从该链接下载：https://github.com/winghc/hadoop2x-eclipse-plugin。 2. 在 Eclipse 中创建 Java 项目并添加 Hadoop 和 Hadoop Eclipse Plugin 的库。 3. 在项目中创建 MapReduce 程序并编写代码。 4. 将 MapReduce 程序打包成 jar 文件。 5. 在 Eclipse 中配置 Hadoop 的环境变量，并将 jar 文件上传到 Hadoop 集群中。 6. 在 Eclipse 中运行 MapReduce 程序并查看输出结果。 在编写 MapReduce 程序时，需要注意以下几点： 1. MapReduce 程序必须实现 Mapper 和 Reducer 接口。 2. Mapper 接口的 map() 方法将输入数据转换成键值对，而 Reducer 接口的 reduce() 方法将键值对进行聚合并生成输出结果。 3. 在 MapReduce 程序中可以使用 Hadoop 提供的工具类来读取和写入数据。 4. 在 MapReduce 程序中可以使用 Hadoop 的计数器（Counter）来统计特定事件的次数。 5. 在 MapReduce 程序中可以使用 Hadoop 的分布式缓存（DistributedCache）来共享文件和数据。 总之，使用 Eclipse 编写和运行 MapReduce 程序相对容易，但需要一定的 Hadoop 和 Java 编程经验。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值