Eclipse下编写MapReduce程序运行并导出jar包上传远程Linux执行运行

最新推荐文章于 2021-12-11 11:32:04 发布
最新推荐文章于 2021-12-11 11:32:04 发布
阅读量1.1k 收藏 4
点赞数 1
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44322234/article/details/105256114
版权
本文介绍了如何在Eclipse环境下配置本地Hadoop环境，编写MapReduce程序，执行并导出JAR包。首先，通过Eclipse创建Map/Reduce Project，编写WordCount示例，设置输入文件，运行MapReduce程序。接着，详细说明了如何导出JAR文件，并将其上传到远程Hadoop环境执行。
摘要由CSDN通过智能技术生成

0.Eclipse配置本地hadoop环境和安装插件 hadoop-eclipse-plugin-2.9.2.jar 以及配置hadoop环境

详见：

上述准备工作做好后，下面开始编写MapReduce程序并执行以及导出jar包。

详细步骤如下：

第一步：编写MapReduce程序并执行

1、打开Eclipse，选择菜单栏的File->New->Project选项，出现如下图的对话框，选择"Map/Reduce Project"，如下图所示：
<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
weixin_44322234
关注
专栏目录
订阅专栏
使用eclipse创建MapReduce项目并导出可执行jar
李子翔
05-19 1540
使用eclipse创建MapReduce项目并导出可执行jar第1步：创建Map/Reduce项目若没有此选项，可参考我写的另一篇博客，关于配置本地hadoop环境的教程（链接如下）第2步：编写代码，处理异常第3步：导出jar包两次Next第4步：查看导出的jar包然后上传到Linux下执行即可 第1步：创建Map/Reduce项目 然后输入项目名称，finish即可 若没有此选项，可参考我写的另一篇博客，关于配置本地hadoop环境的教程（链接如下） eclipse配置本地hadoop环境链接 第2步：
不导出jar包直接在eclipse上运行mapreduce程序
qq_41222057的博客
04-14 255
解决Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs 1.参考博客链接 链接: link. 2.操作 (1) 查看eclipse window ->preferences ->Hadoop Map/Reduce的Hadoop installation directory是否是自己...
第七记·Java编写MapReduce，并在集群上运行
玖局下半的博客
06-26 2316
XY个人笔记1.首先准备一个需要统计的单词文件 word.txt，我们的单词是以空格分开的，统计时按照空格分隔即可hello hadoop hello yarn hello zookeeper hdfs hadoop select from hadoop select from yarn mapReduce MapReduce 2.上传word.txt到hdfs根目录$ bin/hdfs df...
如何快速从Ubuntu系统的eclipse下导出jar包（MapReduce程序）
chenyuangege的专栏
06-27 1294
如何快速从Ubuntu系统的eclipse下导出jar包（MapReduce程序）
用eclipse将mapreduce程序打成jar包并在命令行执行
weixin_30420305的博客
04-19 351
将项目打成jar的步骤： 选中所要打包的项目，右键后点击Export,选中JAR file 把.classpath和.project前面的"对钩"去掉，指定导出路径 在命令行执行： hadoop jar xxx.jar xxxx.xxx（包名加上类名） input output 这样mapreduce程序就能够在集群上运行了 转载于:https://www.cnblogs.co...
MapReduce的WordCount案例上传到Linux中运行
落幕7的博客
09-22 624
MapReduce的WordCount案例案例一：统计单词个数案例二：按班级统计年龄总和 案例一：统计单词个数 首先准备一个word.txt文件上传到Linux（内容随意，一行只有一个单词就行） 然后 hdfs dfs -put 你的txt存放目录 上传到hdfs的要存放目录 例：hdfs dfs -put /usr/local/data/word.txt /word package com.liu.hadoop; import org.apache.hadoop.conf.Configuratio
Eclipse打包mapreduce程序并提交至hadoop集群运行
tangtang5156的专栏
11-07 4990
在命令行里能够将程序运行在hadoop集群环境后，
Hadoop集群map reduce分布运算，在Windows的eclipse下打包jar，在linux虚拟机运行
xiaoloulou0的博客
11-29 1215
Hadoop 2.8.4 目的：    在Windows的eclipse运行java程序，调试无报错，打包成jar，上传到linux虚拟机（CentOS 64位），Hadoop2.8.4上进行分布式运算。 过程： 1、下载与Hadoop版本对应的jar包，丰富eclipse的用户库 2、找个你想跑的程序。 3、将程序打包成  .jar 4、把jar上传到hadoop上运行   1...
使用eclipse写mapreduce程序，然后打包程序到集群运行
weixin_47524964的博客
12-01 734
一、调试eclipse运行环境 首先创建一个eclipse的Maven Project 二、然后再pom.xml在里面写入一下配置 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version> </dependency>..
如何在eclipse中编写好程序，然后打包成jar文件，在hadoop分布式集群上运行
热门推荐
WitsMakeMen的专栏
12-06 1万+
（1）首先将下载好的hadoop源码解压，将解压后顶级目录和lib中的压缩文件加载到你的工程中（他们包括了hadoop源码和一些需要的第三方源码），然后就可以编写hadoop程序了。 （2）编写好hadoop程序，调试没有错误后，就可以通过(jar -cvf yourname.jar -C bin/ .)，将工程中bin目录下编译好的.class文件打包成你想要的.jar压缩文件包。 （3）将
Eclipse下Hadoop的MapReduce开发之mapreduce打包
weixin_34232744的博客
05-27 213
2019独角兽企业重金招聘Python工程师标准>>> ...
将java中写好的mapreduce放在Linux中运行
weixin_40645193的博客
11-08 331
mapreduce的原理 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成， 然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在分布式计算中，MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、 容错处理以及网络通信等复杂问题，把处理过程高度抽象为两个函数：map和reduce，map负责把任务分解成 多个任务，reduce负责把分解后多任务处理的结果汇总起
linux eclipse mapreduce jar,Eclipse下编写并执行MapReduce程序以及导出jar包的详细步骤...
weixin_39892311的博客
05-14 1004
Linux下安装Eclipse和插件hadoop-eclipse-plugin-0.20.203.0.jar以及配置hadoop环境上述准备工作做好后，下面开始编写MapReduce程序并执行以及导出jar包。详细步骤如下：第一步：编写MapReduce程序并执行1、打开Eclipse，选择菜单栏的File->New->Project选项，出现如下图的对话框，选择"Map/Reduce...
idea生成jar包上传服务器 运行MapReduce程序和idea本地运行MapReduce程序
weixin_42458562的博客
03-14 662
0.生成jar包 1.添加sftp连接 2.上传第0步生成的jar包 3.linux上运行jar包 yarn jar hadoop222-1.0-SNAPSHOT.jar com.mr.PatentCount -Din=/data/patent/cite75_99.txt -Dout=./p_count 等待完成 分享java源码： import java.io.IOExcep...
MapReduce编程规范——Mapper、Reducer和Driver具体实现
m0_56066550的博客
12-11 4904
MapReduce程序一般都需要包含三个部分：Mapper、Reducer和Driver。 注意：Mapper类中的map方法是每执行一行数据执行一次。 Reducer类中的reduce方法是相同的key值的数据执行一次。 具体泛型类型根据具体需求而定。 导入包时要认真，以免导错包，会影响输出结果。 自定义Mapper、Reduce和Driver具体实现如下： 自定义Mapper类： Mapper类：(程序的Map阶段) impor...
使用Eclipse编写MapReduce程序并提交到集群运行
weixin_43311978的博客
04-14 1325
本人是在linux虚拟机上安装的 hadoop 集群，版本3.2.1，在本地 Windows 用 Eclipse 开发 Map/Reduce 程序，并提交到集群运行，我们以经典的 wordcount 为例，演示用 Eclipse 开发 MapReduce 程序，Eclipse 要先配置好 Hadoop 开发环境，如果还没配置好可以先看Eclipse配置Hadooop开发环境。 1、新建MapRed...
Windows环境下编写MapReduce程序获取所需要的jar包（本地导入和maven）
一纸春秋的博客
07-24 1912
方法一，手动导入 在本地Windows环境下，下载解压hadoop-2.7.6 进入idea创建好的项目文件夹下面 新创建的Directory命名为lib 来到hadoop-2.7.6\share\hadoop\common文件目录下面 将黄色荧光笔标记的三个jar包拖入项目文件夹的lib目录下 还有\hadoop-2.7.6\share\hadoop\common\lib文件目录下的全部jar包也拖入lib中 来到hadoop-2.7.6\share\hadoop\hdfs目录下 这三个jar
eclipse下开发mapreduce需要导入的jar包
weixin_34376986的博客
12-02 1181
1./usr/local/hadoop/share/hadoop/mapreduce下的所有jar包（子文件夹下的jar包不用）2./usr/local/hadoop/share/hadoop/common下的hadoop-common-2.7.2.jar3./usr/local/hadoop/share/hadoop/common/lib下的commons-cli-1.2.jar 转载于:htt...
阿里云E-mapreduce 如何提交自己的jar包并运行
Ichimaru_Gin_的博客
06-22 1459
源起租用了E-mapreduce服务器，如何运行自己的spark程序。参考官方文档：点spark作业配置， 我只是更详细的描述一下操作步骤。操作步骤一、创建作业1. 作业2. 创建作业3. 输入你平常在虚拟机提交任务时的指令，并做以下修改：  1）只保留“spark-submit”之后的内容 （因为在后台提交时，它会自动加上这句话）  2）jar包的路径 是存在oss的buket中的，选择“选择O...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

weixin_44322234

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值