(idea)将mapreduce程序打成jar包到集群上运行

最新推荐文章于 2024-06-05 15:48:23 发布
最新推荐文章于 2024-06-05 15:48:23 发布
阅读量1.2k 收藏 6
点赞数 3
分类专栏： bigdata 文章标签： mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WKX_5/article/details/111300556
版权

  1. 将mapreduce程序打成jar包，步骤如下图所示：
    在这里插入图片描述

  2. 将jar包拖入linux虚拟机
    在这里插入图片描述

  3. 在虚拟机上启动集群

  4. 在hdfs文件系统上创建输入文件的目录
    在这里插入图片描述

  5. 上传输入文件到目录中，上传后查看文件是否在该目录下存在
    在这里插入图片描述

  6. 运行jar包
    （1）注意在运行这条命令前，output 这个目录有可能是不应该存在的(根据自己代码的情况来确定应不应该存在)，否则Hadoop会报错并拒绝运行作业。运行完后会自动生成output文件夹，并且output文件夹中有运行后的结果。
    （2）output目录可以存在的情况是你的程序对此目录是否存在做了判断。
    下图是mapreduce程序中main函数设置job的输入原文件所在的目录，如果你用了图中被注释掉的两行设置目录，则需要每次在集群上执行jar前将output目录删除；但输如果是非注释部分设置目录，则不需删除该目录。

在这里插入图片描述
7. 查看运行结果
在这里插入图片描述

miulatata
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop专栏（四）使用idea操作MapReduce（代码篇）
斯特凡今天也很帅的博客
12-02 1520
写在前面： mapreduce 任务的提交方式 1. 打成JAR包，上传Linux，hadoop jar 执行 2. 嵌入某个应用程序：IDE 直接提交 3. local模式，在Windows上本地执行 以下代码，先使用IDEA直接提交，再打包成jar包后上传Linux执行 一、编写word count代码 注：依赖下载的jar包的配置文件pom.xml放在文末 1.驱动程序WordCountDriver.class package cn.kgc.wordcount; import org.apache.
使用IDEA运行mapreduce（windows运行代码+hadoop运行jar包）
qq_40343117的博客
09-02 3664
windows配置idea的教程： https://blog.csdn.net/qq_40343117/article/details/100351273 mapreduce运行原理解析（写代码之前最好记住这些框架，否则不是很好记忆）： https://blog.csdn.net/qq_40343117/article/details/100079532 1、编写代码 我们使用IDEA运行mapr...
【知识学习】IDEA开发Hadoop MapReduce程序
cls1277的博客
06-26 1180
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/ （1）首先注意SDK的配置 （2）加入Hadoop的jar包依赖 （3）打包配置 根据自己需求写代码，下面附代码样本。 （1）mapper代码： （2）reduce代码片断： （3）run/main代码： 5、配置编译器右上角： 注意：第三个框里只需添入输入路径和输出路径即可6、将数据导入到你的程序中 注意：不要创建output目录，系统会自
Windows环境下编写MapReduce程序获取所需要的jar包（本地导入和maven）
一纸春秋的博客
07-24 1838
方法一，手动导入 在本地Windows环境下，下载解压hadoop-2.7.6 进入idea创建好的项目文件夹下面 新创建的Directory命名为lib 来到hadoop-2.7.6\share\hadoop\common文件目录下面 将黄色荧光笔标记的三个jar包拖入项目文件夹的lib目录下 还有\hadoop-2.7.6\share\hadoop\common\lib文件目录下的全部jar包也拖入lib中 来到hadoop-2.7.6\share\hadoop\hdfs目录下 这三个jar
将idea上MapReduce程序打包——任务提交到yarn进行相关计算
最新发布
2301_78409414的博客
06-05 788
将idea上MapReduce程序打包——任务提交到yarn进行相关计算
MR实例 - 将程序打包在进群上运行【图文】
04-26 259
（所有源码均在https://github.com/zongzhec/HadoopPractise） 上一篇是在Windows下运行：https://blog.csdn.net/zongziczz/article/details/105765158 下面是打包在集群上运行的步骤。 用maven package功能打包，生成jar包。 改成一个方便的名字，拷贝到虚拟机中 ...
【MapReduce】程序打成jar包上传集群运行
懂得一千零一种,赋予你失败的方法！
03-18 2360
文章目录一、生成jar包① 通过maven自动生成② 手动打jar包二、集群运行_路径问题① 内置路径② 参数形式输入路径 一、生成jar包 ① 通过maven自动生成 直接找到maven工具，点击package即可~ ② 手动打jar包 找到project structure -> artifacts -> + ->jar -> empty,然后选择需要打包的项目（注意这里是按照Driver类来选的） ok后，找到build -> build artifa..
MapReduce打Jar包上传至hadoop服务器运行的方法，需要其他有Hadoop运行环境
12-14
本教程将详细介绍如何在本地开发环境中创建一个MapReduce项目，将其打包成JAR文件，并上传到已经配置好的Hadoop集群上运行。 首先，你需要在本地环境中安装Java开发工具（JDK）和Maven，因为MapReduce程序是用Java...
实验项目 MapReduce 编程
04-18
完成后，将程序打包成JAR文件，上传至Hadoop集群，并提交作业运行。运行结果可以通过Hadoop的Web界面查看，这有助于理解MapReduce的工作流程。 在MapReduce Web界面上，可以监控作业的进度、任务分布以及资源使用...
MapReduce入门程序
11-24
完成代码编写后，使用Maven构建项目生成jar包，然后通过Hadoop命令行提交到集群上运行。运行命令通常类似于`hadoop jar your-jar-file.jar your-class-name input-file output-dir`，其中`input-file`是HDFS上的输入...
Idea运行MapperReduce本地环境配置(win10).rar
04-21
通过在本地配置MapReduce环境，开发者可以方便地进行程序调试和测试，而无需每次都在完整的Hadoop集群上执行。 首先，我们需要了解Hadoop MapReduce的基本概念。MapReduce是一种编程模型，用于大规模数据集的并行...
将hadoop与java的编译器idea相连
04-17
7. **在本地目录下创建一个jars包并上传**：将打包好的jar文件上传到Hadoop集群的某个目录中，如`/user/yourusername/input`。 8. **运行**：使用Hadoop命令行工具运行程序。例如： ```bash hadoop jar /path/to/...
MapReduce打jar包上传hdfs运行
qq_45728730的博客
10-30 1795
MapReduce打jar包上传hdfs运行 上传原数据文件到hdfs hdfs dfs -mkdir /datas/ hdfs dfs -put data1.txt /datas/ pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-in
MapReduce的Jar包上传到集群运行
大数据流浪法师的学习笔记与分享
11-15 1026
需求： 在给定的文本文件中统计输出每一个单词出现的总次数 数据格式准备如下： 创建这个文件 cd /export/servers vim wordcount.txt 文件内容： hello,world,hadoop hello,hive,sqoop,flume kitty,tom,jerry,world hadoop 上传成功后效果 上传文件到集群 hdfs dfs -mkdir /word...
IDEA打包MapReduce程序，jar在hdfs集群运行
ShaneHolmes
03-13 5687
大数据专栏 上一篇 主目录 下一篇 目录1 编写代码1.1 创建Maven项目1.2 添加依赖1.3 代码2 项目打包3 hdfs集群运行3.1 上传到Linux服务器3.2 在hadoop01执行jar 【前言】 Intellij IDEA打包MapReduce程序，并使用ja...
第一次：在集群上运行 jar 包
HuiningM的博客
09-03 1989
开始接触Jar包，脑子是真烧的不行，为了不忘记，那就记在回忆里。。。。 --------------------------------------------------------------------- 一、在 IDEA 上生成 jar 包 点击菜单栏左上角File —> project structure... —> Artifacts —> 添加 + J...
使用IDEA编写的第一个MapReduce程序
☁️坐看云起时☁️
04-27 1572
一. 创建MAVEN程序 二.添加项目依赖包 创建完成后，要给项目添加相关依赖包，否则会出错。 点击Idea的File菜单，然后点击“Project Structure”菜单，如下图所示： 导入jar包： 选择hadoop的包，我用得是hadoop3.*。把下面的依赖包都加入到工程中，否则会出现某个类找不到的错误。 （1）”/usr/local/hadoop/share/hadoo...
MapReduce打包jar包并运行的步骤操作以及重要的注意事项
weixin_43716338的博客
11-15 4815
目录jkjlfdsf jkjl fdsf
MapReduce打包jar包及Xshell jar包实现
liuyongsheng666的博客
10-27 442
打包jar包 实现连接hdfs文件系统 //指定读取文件路径 // Path path =new Path("E:\\hadoopstu\\in\\demo1"); // Path path =new Path("hdfs://linux01:9000/input"); Path path=new Path(args[0]); FileInputFormat.setInputPaths(job,path)..
MapReduce程序打包与部署指南：从创建JAR到Hadoop运行
最后，运行MapReduce程序是在Hadoop集群上执行的。通过Hadoop的jar命令，指定jar包的路径以及其中的主类，格式为：`Hadoop jar /home/Pr_Task2_3.jar Phone_MR.Phone_Drive`。这里，`Phone_MR.Phone_Drive`是用户...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值