在Ubuntu中使用eclipse操作HDFS跑wordcount程序

最新推荐文章于 2024-10-11 23:11:04 发布
最新推荐文章于 2024-10-11 23:11:04 发布
阅读量824 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop eclipse
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunwhut333/article/details/45080325
版权
本文介绍了如何在Ubuntu系统中使用Eclipse进行Hadoop开发，具体步骤包括配置Hadoop、安装Eclipse JEE Luna、设置Hadoop开发插件、导入WordCount.java并配置运行参数，通过运行WordCount程序验证HDFS操作成功。
摘要由CSDN通过智能技术生成

1.配置好hadoop，并且提前启动hadoop


2.下载eclipse-jee-luna并解压，配置hadoop开发插件，并配置hadoop连接


3.拷贝Linux下Hadoop安装目录下的WordCount.java文件到刚刚创建的工程的src下，并选择Wordcount.java，右击run as ---》run configurations，打开Arguments填写input out路径，运行之后查看hdfs,如果出现part-r-0000文件，则运行成功。

最低0.47元/天 解锁文章
sunwhut333
关注
专栏目录
初学Hadoop——HDFS Java API 的使用、在linux中安装eclipse
qq_45154565的博客
10-20 4768
Hadoop不同的文件系统之间通过调用Java API进行交互，实验一中介绍的Shell命令，本质上也就是Java API的应用。 Hadoop官方的Hadoop API文档，可以访问如下网站，查看各个API的功能：网站链接 一、 Eclipse的安装 利用Java API进行交互，需要利用软件Eclipse编写Java程序。这里我使用的在Ubuntu中安装eclipse。 （1）在Ubuntu的边栏打开软件中心 （2）在软件中心搜索栏输入“ec”，软件中心会自动搜索相关的软件 点击图中的eclips
Linux（Ubuntu）上使用Eclipse配置Hadoop开发环境详细步骤+WordCount示例-2
知而获智，智达高远
02-22 1663
步骤8 Hadoop伪分布式部署配置 Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。 NameNode：namenode 一是管理文件系统文件的元数据信息（包括文件名称、大小、位置、属性、创建时间、修改时间等等）， 二是维护文件到块的对应关系和...
Hadoop上路_06-在Ubuntu中使用eclipse操作HDFS
weixin_33953384的博客
05-20 250
2019独角兽企业重金招聘Python工程师标准>>> ...
Eclipse安装InUbuntu18和简单使用
mos1896的博客
11-29 215
一开始安装的eclipse的installer 结果是速度极其慢 所以决定找那种直接解压后就能用的安装包 1.只用看eclipse部分，安装jdk部分可以看我的博客 2.我的博客之ubuntu安装jdk 3.官网下载eclipse安装包（not installer 安装包） 重要步骤： 1.解压： sudo tar zxvf eclipse名称.tar.gz -C /opt/ 2.添加图标： sudo gedit /usr/share/applications/eclipse.desktop 3. 复制内容
本地Eclipse连接HDFS进行简单的文件操作
weixin_30836759的博客
11-15 315
昨天总结了一点自己在搭建Hadoop完全分布式环境过程中遇到的几个小问题以及解决方案，今天在搭建成功的环境中进行了简单的文件操作，包括：文件目录的创建、文件的创建、本地文件的上传、文件的重命名、文件的删除以及其他几个关于文件的操作，希望对初学的练习者有所帮助。 1 package org.apache.hadoop.examples; 2 3 4...
Ubuntu14.04中eclipse下编写mapreduce例子程序WordCount
greenapple222的博客
10-04 1666
我用的是Ubuntu14.06系统，hadoop2.6.0版本，电脑中已经安装eclipse，学习MapReduce最好是能在eclipse中导入相应的hadoop的eclipse插件包，根据自己的版本下载相应的插件，我这里的是hadoop-eclipse-plugin-2.6.0.jar。 1.复制hadoop-eclipse-plugin-2.6.0.jar插件到eclipse的plug
linux如何在eclipse中运行wordcount,在ubuntu上安装eclipse同时连接hadoop运行wordcount程序(示例代码)...
weixin_42480812的博客
05-16 246
起先我是在win7 64位上远程连接hadoop运行wordcount程序的，但是这总是需要网络，考虑到这一情况，我决定将这个环境转移到unbuntu上需要准备的东西一个hadoop的jar包，一个连接eclipse的插件(在解压的jar包里有这个东西)，一个hadoop-core-*.jar(考虑到连接的权限问题)一个eclipse的.tar.gz包(其它类型的包也可以，eclipse本身就是不...
eclipse 上传文件到hadoop
大数据之美
03-20 2533
其实很简单，只要配置正确，就行  直接给代码吧 package com.younglibin.hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apac
ubuntu系统下eclipse配置hadoop开发环境并运行wordcount程序
yonghutwo的专栏
06-30 5628
先列出本机环境： ubuntu 12 eclipse 3.6 hadoop 1.1.2 ubuntu12环境下hadoop1.1.2伪分布式配置成功，然后用Ant编译eclipse hadoop plugin插件，接下来就是eclipse hadoop开发环境配置了。具体的操作如下： 一、在eclipse下安装开发hadoop程序的插件 将编译好的hadoop-1.1.2-ec
华科图书馆项目总结
sunwhut333的专栏
05-30 1618
仔细想想，华科图书馆的这次项目，还是职业生涯的处女秀。然而这次项目，却不是那么顺利，经历了很多不快。 首先，可以发现给学校做项目是多么的麻烦，钱不多事还不少。 其次，这次着实被需求坑了一把。以前只是在课堂上了解了一下，这次亲身体会了。甲方动不动就改需求，是多么蛋疼的一件事。而且每次只提一点需求，所以昨天做好的东西，今天要改；明天又说今天哪里做的不好，又得继续改。如此反复，搞得人累不说，也很降低
hadoop学习之查看hadoop源码
sunwhut333的专栏
05-11 1195
今天上午学习wordcount程序的时候，查询api文档及相关资料，突然查到hadoop源码的查看问题，所以决定自己也来试一下。因为以前学习java的时候，也是源码+api文档结合起来学习。谁知这一试，就入了神坑，上午搞了两个小时加上下午两个小时都没搞定，只能先记录下来，以后有时间从头再来。 1.安装maven 下载maven  http://apache.fayea.com/apac
用mahout跑第一个协同过滤算法的程序
sunwhut333的专栏
04-17 1159
万事开头难，上午看了一下基于物品的协同过滤的算法的原理，于是下午决定练练手。 本以为按照书上的命令来敲会很顺利，然而好事多磨，花了大半个下午才搞好。 刚开始就发现我看得书上的命令有问题，真是坑，又找了另一本mahout的书来看。 然而敲命令运行之后，还是报错了，报错如下： java.lang.IncompatibleClassChangeError: Found interface org
u盘安装ubuntu14.04
sunwhut333的专栏
04-16 436
1.下载一个镜像Ubuntu14.04，有很多linux镜像源站,当然也可以去官网下载 2.下载U盘启动制作工具UltraISO，并写入镜像 3.下载并安装DiskGenius为系统分区 4.重启电脑，按F12，将会出现一个引导界面，选择和USB有关的选项，确定，稍等片刻，出现Ubuntu安装界面即可开始安装 5.选择分区时应注意，根分区（/）分配30G，虚
Hadoop2.6.0伪分布式安装及测试笔记
sunwhut333的专栏
04-14 435
一.环境准备 1.JDK 手动下载jdk并配置环境变量，可参考下文 http://blog.csdn.net/microfhu/article/details/7667393 2.SSH 可以在root下配置SSH无密钥登录,可参考下文 http://blog.csdn.net/budapest/article/details/8022926 二.下载安装 1.可在
大数据毕业设计选题推荐-图书数据分析系统-图书推荐系统-Python数据可视化-Hive-Hadoop-Spark
IT毕设梦工厂的博客
10-08 1220
在数字化时代背景下，图书行业正经历着前所未有的变革。随着互联网的普及和数字阅读平台的兴起，图书的销售和阅读方式日益多样化，产生了海量的图书相关数据。这些数据包括图书销量、读者评价、图书类别、作者信息等，它们对于出版社、书店以及作者本人来说具有极高的价值。有效的数据分析能够帮助相关利益方更好地理解市场趋势，优化图书选题，制定营销策略，提升读者阅读体验。根据中国新闻出版研究院发布的数据，2023年中国图书零售市场码洋规模达到1500亿元，同比增长约10%，其中线上销售码洋规模占比超过70%。
大数据毕业设计选题推荐-电影票房数据分析系统-Python数据可视化-Hive-Hadoop-Spark
IT毕设梦工厂的博客
10-08 1458
电影产业作为文化产业的重要组成部分，在世界各国的经济发展中扮演着越来越重要的角色。随着全球化的推进和数字技术的发展，中国电影市场近年来呈现出爆发式增长。据国家电影局发布的数据显示，2023年中国电影票房达到472.58亿元人民币，同比增长超过130%，银幕总数超过8万块，已经成为全球第二大电影市场。在这样一个庞大的市场中，电影票房数据作为衡量电影市场表现的重要指标，对于电影制作方、发行方、投资者以及政策制定者来说具有极高的参考价值。
linux安装hadoop
最新发布
bunengyongzho666的博客
10-11 402
下载hadoop-eclipse-plugin-2.6.0.jar包，放到eclipse的plugin目录下。3、修改配置文件start-yarn.sh和stop-yarn.sh。6、修改yarn-env.sh和hadoop-env.sh配置文件。2、修改配置文件start-dfs.sh和stop-dfs.sh。1、修改Hadoop配置文件core-site.xml。2、修改Hadoop配置文件hdfs-site.xml。1、修改配置文件hadoop-env.sh。
大数据毕业设计选题推荐-白酒销售数据分析-Python数据可视化-Hive-Hadoop-Spark
IT研究室的博客
10-08 1444
中国白酒作为中国传统的蒸馏酒，历史悠久，品种繁多，深受国内外消费者的喜爱。近年来，随着居民收入水平的提升和消费结构的升级，白酒市场呈现出快速增长的趋势。据中国产业信息网发布的数据显示，2023年中国白酒行业市场规模已突破6000亿元人民币，且预计未来几年仍将保持稳定增长。在这一背景下，白酒企业之间的竞争日趋激烈，如何通过科学有效的数据分析手段，精准把握市场动态，优化营销策略，提高产品竞争力，成为白酒行业亟需解决的问题。在白酒销售领域，数据的积累和应用正逐渐成为企业获取竞争优势的重要手段。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值