Windows环境下编写MapReduce程序获取所需要的jar包（本地导入和maven）

于 2021-12-15 14:44:09 发布
阅读量1k 收藏 1
点赞数
分类专栏： 程序员 文章标签： 面试 java 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_64867896/article/details/121952288
版权
本文介绍了在Windows环境中如何为MapReduce程序获取并添加jar包，包括将hadoop目录下的jar包导入lib文件夹，并详细说明了Eclipse中设置library的步骤。同时，文章还提到了使用Maven进行项目创建和配置的方法，指导读者完成Maven home directory和User setting file的设置。
摘要由CSDN通过智能技术生成

还有hadoop-2.7.6\share\hadoop\hdfs\lib中的全部jar包

同样的，都拖入lib中在这里插入图片描述

如果遇到这种情况，点击Overwrite for all

![在这里插入图片描述](https://img-blo

《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》

【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】 完整内容开源分享

g.csdnimg.cn/89d392e2a9994819ae22fea8324cf6e1.png)

接着开始修改设置

在这里插入图片描述

在这里插入图片描述

接着单点一下黄色荧光笔标记的lib文件，注意是鼠标单点一下

在这里插入图片描述

接着同样的，单点一下lib上方的Resources（黄色荧光笔标记）

最低0.47元/天 解锁文章
m0_64867896
关注
专栏目录
windows下用idea编写wordcount单词计数项目并打jar包上传到hadoop执行
尘埃落定
03-20 4246
windows下用idea编写wordcount单词计数maven项目（实际也可手动添加依赖包而不需要maven引入），并打jar包上传到hadoop执行，了解hadoop的基本程序编写和执行
Hadoop | MapReduce学习笔记（一）使用Java实现MapReduce编程 | 打包词频统计程序为jar包提交到Hadoop集群并运行 | Mapper、Reducer、Driver
希望每天都能进步一点点
01-19 4413
Hadoop | MapReduce学习笔记（一）使用Java实现MapReduce编程 | 打包词频统计程序为jar包提交到Hadoop集群并运行 | Mapper、Reducer、Driver
hadoop eclipse mapreduce下开发所有需要用到的JAR包
09-11
hadoop eclipse 下进行mapreduce开发所有需要用到的JAR包
Hadoop 2.2 & HBase 0.96 Maven 依赖总结
热门推荐
沉底的石头
09-05 1万+
由于Hbase 0.94对Hadoop 2.x的支持不是非常好，故直接添加Hbase 0.94的jar依赖可能会导致问题。      但是直接添加Hbase0.96的依赖，由于官方并没有发布Hbase 0.96的jar包，通过maven编译项目的时候会出现找不到jar包导致编译失败。      通过网上的资料，得知Hbase 0.94后版本，直接添加Hbase-Client的依赖，通过查询
MapReduce需要的maven pom设置
hello_heheha的博客
12-07 980
<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.3.1</version> </depen...
Mapreduce部署与第三方依赖包管理
深入一点
06-12 317
    Mapreduce部署是总会涉及到第三方包依赖问题，这些第三方包配置的方式不同，会对mapreduce的部署便捷性有一些影响，有时候还会导致脚本出错。本文介绍几种常用的配置方式:   1. HADOOP_CLASSPATH     在hadoop的相关配置文件中，添加CLASSPATH路径，那么在hadoop的各个进程启动时都会载入这些包，因此对于mapreduce-job ja...
MapReduce的maven依赖
weixin_33912445的博客
07-01 1971
2019独角兽企业重金招聘Python工程师标准>>> ...
MapReduce 编程 系列一 搭建基本的Maven工程
Dean Chen的专栏
09-24 2756
这是一个maven 工程，安装完mvn 3.2.2后， mvn --version Apache Maven 3.2.3 (33f8c3e1027c3ddde99d3cdebad2656a31e8fdf4; 2014-08-12T04:58:10+08:00) Maven home: /opt/apache-maven-3.2.3 Java version: 1.7.0_09, vendor: O
将java写的MapReduce文件打包成可以执行的jar包
qq_43437122的博客
04-06 740
我的环境：eclipse 1.选中文件所在的包： 右键： 2.点击java选中JAR file: 3.点击next，设置文件生成位置： 4.设置入口类(可以执行时选择类，也可以创建时指定)： 点两下next： 点击最下面的呢个Browse…选择你的入口类: 然后点击finish。 ...
eclipse下开发mapreduce需要导入的jar包
weixin_34376986的博客
12-02 1180
1./usr/local/hadoop/share/hadoop/mapreduce下的所有jar包（子文件夹下的jar包不用）2./usr/local/hadoop/share/hadoop/common下的hadoop-common-2.7.2.jar3./usr/local/hadoop/share/hadoop/common/lib下的commons-cli-1.2.jar 转载于:htt...
mapreduce加入第三方jar
weixin_30254435的博客
03-28 205
1.编写mapreduce程序，需要用到第三方jar，如果是hbase jar包，那么在启动mapreduce的时候，把hbase的classpath加入到HADOOP_CLASSPATH中。 下面是代码是启动mapreduce的shell脚本 #!/bin/sh hadoop fs -rm -r /balance/filesinseries/ HADOOP_CLASSPAT...
mapreduce运行过程中依赖第三方jar的解决办法
天地人的博客
12-18 1300
楼主是一个hadoop初学者，本着helloword的精神来写mapreduce，将一个表的数据写到另一个表。其中踩过的坑啊......为了不踩同样的坑，楼主将其中的问题及解决办法记录下来。 以下是楼主的代码： package handler; import mapper.DBInputMapper; import org.apache.hadoop.conf.Configuration; ...
Linux下maven开发MapReduce
Jonney's house
01-19 905
1.安装mvn  1.1上传安装包到linux  1.2解压maven安装包   mkdir /usr/maven   tar -zxvf apache-maven-3.2.1-bin.tar.gz -C /usr/maven  1.3添加maven到环境变量   vim /etc/profile   export JAVA_HOME=/usr/java/jdk1.7.0_5
Hadoop MapReduce编程创建maven项目时所用到的pom依赖
u013200776的专栏
07-25 3253
junit             junit             3.8.1             test                             org.apache.hadoop             hadoop-common             2.6.0                             org.apac
大数据之如何利用自己写的jar包在mapreduce的使用
weixin_34228387的博客
01-11 372
大数据之如何利用自己写的jar包在mapreduce的使用 一：首先要将linux 和winodws的exlipse关联起来 第一步：在windows中部署hadoop包：解压一个hadoop压缩文件 第二步：将解压后的hadoop文件目录下的bin文件中的文件全部被替换成下面文件夹下的文件：该文件已经压缩并上传：bin.rar 第三步：...
hadoop中mapreduce的jar包执行方式
妖怪的博客
04-11 7879
hadoop中mapreduce的jar包执行
maven依赖avro_在MapReduce中使用Avro
weixin_31256263的博客
01-12 219
个人认为在MapReduce中使用Avro可以提升数据的处理性能，主要是以下几点：向Job提供数据文件时可以使用Avro序列化过的二进制数据文件在数据解析方面速度比较快排序功能Avro官网也提供了一个ColorCount这样的一个案例，演示使用Avro序列化过的二进制数据文件作为MapReduce的Job的输入数据，并且完成计算之后，输出结果也是Avro序列化后的数据文件，下面是这个案例源码及相关...
MapReduce用maven打jar包在hadoop环境运行
qq_45753284的博客
03-16 662
MapReduce用maven打jar包在hadoop环境运行 pom文件引入maven依赖 <build> <pluginManagement> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <ar
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值