在Eclipse中运行hadoop程序

最新推荐文章于 2022-10-13 10:21:52 发布
最新推荐文章于 2022-10-13 10:21:52 发布
阅读量366 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jinhong_lu/article/details/46519353
版权
本文详细介绍了如何在Eclipse环境中配置并运行Hadoop程序，包括将hadoop-eclipse-plugin-1.2.1.jar添加到Eclipse插件、打开Map/Reduce视图、创建Location、上传测试数据到HDFS以及运行MapReduce程序的全过程。
摘要由CSDN通过智能技术生成



1、下载hadoop-eclipse-plugin-1.2.1.jar，并将之复制到eclipse/plugins下。


2、打开map-reduce视图

在eclipse中，打开window——>open perspetive——>other，选择map/reduce。


3、选择Map/Reduce Locations标签页，新建一个Location



4、在project exploer中，可以浏览刚才定义站点的文件系统





5、准备测试数据，并上传到hdfs中。

liaoliuqingdeMacBook-Air:Downloads liaoliuqing$ hadoop fs -mkdir in

liaoliuqingdeMacBook-Air:Downloads liaoliuqing$ hadoop fs -copyFromLocal maxTemp.txt in

liaoliuqingdeMacBook-Air:Downloads liaoliuqing$ hadoop fs -ls in

Found 1 items

-rw-r--r--   1 liaoliuqing supergroup        953 2014-12-14 09:47 /user/liaoliuqing/in/maxTemp.txt


其中maxTemp.txt的内容如下：

123456798676231190101234567986762311901012345679867623119010123456798676231190101234561+00121534567890356

1234567986762311901012345679

最低0.47元/天 解锁文章
jinhong_lu
关注
使用Eclipse编译运行MapReduce程序 Hadoop2.7.3
Uncle_Orange的博客
07-18 929
使用Eclipse编译运行MapReduce程序 Hadoop2.7.31.安装hadoop、eclipse2.配置Eclipse主要参考博客：http://www.powerxing.com/hadoop-build-project-using-eclipse/2.1安装Hadoop-Eclipse-PluginHadoop-Eclipse-Plugin2.7.3下载地址：http://downl
eclipse运行hadoop2.7.3程序依赖的jar包
02-15
linux下的eclipse编写hadoop2.7.3测试程序，使程序可以正常运行
eclipse远程运行Hadoop程序
养猪少年日记的博客
12-18 966
一、利用Hadoop的本地模式，在Eclipse中执行本地数据计算 写好的程序在本地测试完之前再提交到远程服务器上进行数据分析还是很有必要的，这就需要利用Hadoop提供的本地模式了 1.解压hadoop-2.5.2.tar.gz到本地，如：D:\hadoop-2.5.2 2.配置环境变量 HADOOP_PATH=D:\hadoop-2.5.2 3.下载windows64位平台的hadoop插件包...
在eclipse下运行hadoop程序
Bryan__的专栏
01-28 4040
环境：Ubuntu安装在虚拟机，hadoop安装在Ubuntu，eclipse安装在win7下，这样eclipse就不会太卡。   1、复制对应版本hadoop的eclipse插件jar包，比如我的hadoop是0.21.0版本，就使用hadoop-0.21.0-eclipse-plugin.jar，jar包放在eclipse安装目录/plugins/ 下，重启eclipse   2、添加
eclipse里运行hadoop程序出现的错误总结
01-20
在win10中配置hadoop开发环境时没有在c:\windows\system32目录中拷贝hadoop.dll文件 2、 错误： org.apache.hadoop.io.nativeio.NativeIO$Win dows.createDirectoryWithMode0(Ljava/lang/String;I)V 解决办法： ...
window下eclipse中运行mapreduce程序所需要的Hadoop全部jar包
01-07
总之，要在Windows下的Eclipse环境中成功运行MapReduce程序，关键在于正确配置Hadoop环境，导入所有必要的jar包，并理解如何设置和提交MapReduce作业。这个过程可能需要一些时间和实践，但一旦配置完成，将为高效...
Hadoop学习全程记录-在Eclipse中运行第一个MapReduce程序.docx
最新发布
06-02
为了简化学习过程，我们将在“伪分布式模式”下运行Hadoop，这意味着所有Hadoop守护进程都在单个节点上运行。 **步骤一：启动Hadoop守护进程** 在开始编写MapReduce程序之前，必须启动Hadoop的NameNode、DataNode和...
如何使用eclipse调试Hadoop作业
每天积累一点，一年后你会发现，自己变化很大
11-20 697
使用eclipse来调试hadoop作业是非常简洁方便的，散仙以前也有用eclipse开发过hadoop程序，但是一直没有深入了解eclipse调试的一些模式，有些时候也会出一些莫名奇妙的异常，最常见的就是下面这个  <pre name="code" class="java">java.lang.RuntimeException: java.lang.ClassNotFoundExc
Eclipse中采用本地作业运行器(Job Runner)运行Hadoop测试(Hadoop2.7.3) - 2
t0m的专栏
05-06 679
上一篇说到的方式采用的hadoop-local.xml中的配置，在执行是设置了Program Arguments，如果嫌麻烦，还有一种思路，在代码里写配置如下：效果和原理上一篇中的一样，不过改成了写到代码里。 public static void main(String[] args) throws Exception { //配置本地模式 Configuration conf = n
hadoop在eclipse上运行实例
qq_45672631的博客
11-02 2892
上一篇博客阐述了怎么创建hadoop与eclipse的连接（因为是在GUI版上装的linux版eclipse），所以这一篇不仅介绍怎么做，而且还讲解怎么创建windows上eclipse与linux上的hadoop的连接。 (11条消息) Centos7(GUI)下的hadoop与eclipse的连接并运行wordcount实例_qq_45672631的博客-CSDN博客 这里，在hadoop已经成功的前提下，我们在官网下载eclipse （这里用的是2021-06版的）java-jdk（这里用的11.
【分布式集群】hadoop2.6.0在eclipse上的运行和命令行运行
沐诩
07-23 1124
环境配置： jdk1.7.0_80 hadoop-2.6.0 eclipse-jee-mars-R-linux-gtk.tar.gz(官网下的目前为止最新的吧) hadoop2x-eclipse-plugin-master(hadoop在eclipse上的插件，网上一搜一大把） 安装eclipse,解压即可 tar -xvf eclipse-jee-mars-R-linux-g
eclipse 配置运行hadoop 2.7 程序例子参考步骤
付哥的技术课堂
06-05 2740
系统介绍了eclipse如何开发hadoop项目，可以作为参考。easy。
在eclipse上跑hadoop
gznc_pcc的博客
04-26 738
开发完成的jar包需要上传到集群并使用相应命令才能执行，这对不熟悉Linux的用户仍具有一定困难，而使用hadoop的eclipse插件就能很好的解决这个问题。Hadoop Eclipse插件不仅能让用户直接的在本地（windows下）提交任务到hadoop集群上，还能调试代码、查看出错信息和结果、使用图形化的方式管理HDFS文件。 （1）获取和使用Eclipse插件 我使用的是hadoo...
eclipse配置Hadoop环境及使用
weixin_61620336的博客
10-13 1880
eclipse配置Hadoop，超简单教程
搭建Eclipse运行hadoop案例的环境
Stay Focused And Work Hard !!!
02-25 749
Eclipse 运行Hadoop的案例目前我尝试的是如下三种， 在Eclipse上对本地文件进行操作； 在Eclipse上对远程的Hadoop文件进行操作； 将eclipse中的文件打包成jar包通过shell命令运行。 下面分别对这两种方式进行描述：**基本环境的准备**1、JDK，Eclipse的安装在这里就不重复说明了。2、本人运行的环境是 win10 ，Eclipse Version:
eclipse下新建hadoop项目
兜里有包包
07-26 1520
此次介绍有关在eclipse当中进行文件操作及wordcount的运行 按照我写的顺序进行讲述 新建Map/Reduce Project项目WordCountDemo 新建类WordCountDemo，包为org.hadoop.examples 将hadoop源码中的wordcount粘贴过来 设置arguments 运行，结果出现output文件已存在
Eclipse中采用本地作业运行器(Job Runner)运行Hadoop测试(Hadoop2.7.3) - 1
t0m的专栏
05-06 571
Hadoop有一个本地作业运行器，可以使MapReduce执行引擎在本地的单个JVM上运行作业，主要设计用于测试本地代码，可以进行调试等操作。 本地运行与服务器上最大区别就是不能运行多个reducer，只能运行 使用本地作业运行器只需要通过配置一个参数即可，就是mapreduce.jobtracker.address值设置为local就会运行本地不访问外部jobtracker，默认
eclipse怎么运行hadoop程序
05-13
要在 Eclipse 中运行 Hadoop 程序，需要按照以下步骤进行设置： 1. 下载并安装 Hadoop。 2. 在 Eclipse 中安装 Hadoop 插件。 3. 创建一个新的 Java 项目。 4. 将 Hadoop 库添加到项目中。 5. 在项目中创建一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值