Mapreduce环境详细搭建和案例实现

已于 2022-04-04 16:50:23 修改
阅读量8.9k 收藏 61
点赞数 14
文章标签： java hadoop hbase 数据仓库
于 2022-03-23 14:07:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54028135/article/details/123682769
版权

版本情况：

Eclipse：Version: Mars.2 Release (4.5.2)
Hadoop: 2.7.1
Ubuntu:16.04

文章目录

软件资源

网盘地址
mapreduce配置相关软件
链接：https://pan.baidu.com/s/1MyoC7LN8RRWvHgtEGOL_hA
提取码：0830
(三十天有效)
软件作用解释：
hadoop-eclipse插件（把hadoop-eclipse-plugin-2.6.0.jar拷到eclipse目录的plugins目录中）
依赖包2.7.1(导入相关依赖时用到)
Hadoop2.7.1
winutils-master (把windows相关依赖文件拷贝到解压好的hadoop文件夹中的bin目录下)
eclipse软件

一、基于Hadoop平台的eclipse开发环境搭建？

一、 安装jdk1.8，配置系统变量JAVA_HOME
安装完jdk后 右击此电脑点击属性 点击高级系统设置
环境变量
在这里插入图片描述
在这里插入图片描述在系统变量 新建JAVA_HOME 路径写相对路径或者绝对路径都可
在这里插入图片描述
新建CLASSPATH
变量值写入： .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;
（注意前面的.不要丢,和后面的;号）
在这里插入图片描述
在path变量中新建
(jdk安装时的两个路径)
在这里插入图片描述
新建HADOOP_HOME，修改path
在这里插入图片描述
在这里插入图片描述
新建HADOOP_USER_NAME

在这里插入图片描述
在这里插入图片描述

验证
jdk环境安装成功
在这里插入图片描述
查看Hadoop是否安装成功
在这里插入图片描述
把windows相关依赖文件拷贝到解压好的hadoop文件夹中的bin目录下
下载地址：https://github.com/4ttty/winutils

在这里插入图片描述
并把其中的hadoop.dll文件拷贝到C:\windows\system32中
把hadoop-eclipse-plugin-2.6.0.jar拷到eclipse目录的plugins目录中
启动eclipse，配置hadoop安装路径
在这里插入图片描述在这里插入图片描述
增加Map/Reduce功能区
Eclipse窗口，菜单中选择：windows—>Perspective—>Open Perspective
—>Other
在这里插入图片描述
单击界面右下方的蓝色小象图标（其上方有+号）
在这里插入图片描述
Location name：命名新建的hadoop连接
Map/Reduce(V2) Master：填写ResourceManager的IP地址和端口
DFS Master：填写NameNode的IP地址和端口

*浏览HDFS上的目录及文件*
在这里插入图片描述
注明：要让windows下的java程序能访问hdfs文件，ubuntu的9866端口要打开
sudo ufw allow 9866
在这里插入图片描述

二、countword案例实现

1.任务要求

统计指定文件中的词频，并输出到指定目录（该目录不能存在）
在hdfs中的当前用户家目录建input文件夹，现有helloworld.txt文本文件，请把这个文件上传到input目录下，并统计这个文件中单词出现的次数。
在这里插入图片描述
程序结构：
在这里插入图片描述

2.MapReduce程序编写方法

（1）创建maven工程

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
（2）Eclipse导入相关jar包
创建一个文件夹
在这里插入图片描述
在这里插入图片描述
点击Add JARs 选择我们所要的jar包把jar包导入
在这里插入图片描述

（3）在pom.xml文件中添加如下依赖

<dependencies>
		<dependency>
			<groupId>org.apache.logging.log4j</groupId>
			<artifactId>log4j-core</artifactId>
			<version>2.8.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>2.7.1</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>2.7.1</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-hdfs</artifactId>
			<version>2.7.1</version>
		</dependency>

		<!-- https://mvnrepository.com/artifact/junit/junit -->
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>4.12</version>
			<scope>test</scope>
		</dependency>
		<!-- hadoop-common依赖系统上的tools.jar -->
		<dependency>
			<groupId>jdk.tools</groupId>
			<artifactId>jdk.tools</artifactId>
			<version>1.8</version>
			<scope>system</scope>
			<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
		</dependency>
	</dependencies>

（3）在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入。

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

2．编写程序
（1）编写Map处理逻辑- WordCountMapper.java

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class WordCountMapper extends Mapper<LongWritable, Text, Text, LongWritable>{
	@Override
	protected void map(LongWritable key, Text value,
			Mapper<LongWritable, Text, Text, LongWritable>.Context context)
			throws IOException, InterruptedException {
		// 拿到传入进来的一行内容，把数据类型转换为String
		String valueString = value.toString();
		// 将这行内容按照分隔符切割
		String wArr[] = valueString.split(" ");
		// 遍历数组，每出现一个单词就标记一个数组1 例如：<单词,1>
		for(int i=0;i<wArr.length;i++){
			// 使用MR上下文context，把Map阶段处理的数据发送给Reduce阶段作为输入数据
			context.write(new Text(wArr[i]), new LongWritable(1));
			//第一行Hello Hello World. 发送出去的是<Hello,1><Hello,1><World.,1>
		}
	}
}

（2）Reduce处理逻辑- WordCountReducer.java

import java.io.IOException;
import java.util.Iterator;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.util.IdGenerator;

public class WordCountReducer extends Reducer<Text, LongWritable, Text, LongWritable>{
	@Override
	protected void reduce(Text key, Iterable<LongWritable> v2s,
			Reducer<Text, LongWritable, Text, LongWritable>.Context context)
			throws IOException, InterruptedException {
		Iterator<LongWritable> it = v2s.iterator();
		//定义一个计数器
		long sum = 0;
		//遍历一组迭代器，把每一个数量1累加起来就构成了单词的总次数
		while(it.hasNext()){
			sum += it.next().get();
		}
		context.write(key, new LongWritable(sum));
	}

}

（3）驱动模块TestMapReducer.java

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.junit.Test;

public class TestMapReducer {
	public static void main(String[] args) throws Exception{
		// 通过如下的方式进行客户端身份的设置，可访问hadoop的用户
		System.setProperty("HADOOP_USER_NAME", "hadoop");
		
		Configuration conf = new Configuration();
		// 这里指定使用的是HDFS文件系统
		conf.set("fs.default.name", "hdfs://192.168.80.140:9000");
		//conf.set("fs.defaultFS", "hdfs://192.168.80.140:9000"); //在有设置地址映射情况下可用机器名代替IP地址		
		// 这里指定使用的是本地文件系统
		//conf.set("mapreduce.framework.name", "local");

		//通过Job来封装本次MR的相关信息
		Job job = Job.getInstance(conf);
		// 指定MR Job jar包运行主类
		job.setJarByClass(TestMapReducer.class);
		
		// 指定本次MR所有的Mapper Reducer类
		job.setMapperClass(WordCountMapper.class);
		job.setReducerClass(WordCountReducer.class);
		
		// 设置我们的业务逻辑 Mapper类的输出 key和 value的数据类型
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(LongWritable.class);
		
		// 设置我们的业务逻辑 Reducer类的输出 key和 value的数据类型
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(LongWritable.class);
		
		// 指定要处理的数据所在的位置
		FileInputFormat.setInputPaths(job, new Path("/user/hadoop/input/helloworld.txt")); //可以是目录或文件
		//FileInputFormat.setInputPaths(job, "D:/mr/input"); 
		
		// 指定处理完成之后的结果所保存的位置
		FileOutputFormat.setOutputPath(job, new Path("/user/hadoop/output"));
		//FileOutputFormat.setOutputPath(job, new Path("D:/mr/output"));

		// 提交程序并且监控打印程序执行情况
		boolean res = job.waitForCompletion(true);
		System.exit(res ? 0 : 1);		
		
	}

}

3、测试
（1）本地测试
在这里插入图片描述
如果在控制台出现权限不够，就在虚拟机用shell命令修改报错路径文件的权限 -chmod 777
在eclipse中查看执行结果
在这里插入图片描述
在这里插入图片描述
在集群上查看结果
在这里插入图片描述

报错解决

问题：xml出现红色波浪号
解决：拼写检查忽视去掉红色下划波浪线的方法:
Windows->Preferences->General->Editors->Text Editors->Spelling将Enable spell checking取消即可.
问题：导入项目的时候，运行时出现了 Bug – 错误: 找不到或无法加载主类 xxxx
解决：通过 eclipse 上的 Problem 描述 ，找到对应项目的 errors 描述发现错误描述为

Description Resource Path Location TypeArchive for required library: ‘C:\Users\xxx.m2\repository\commons-lang\commons-lang\2.6’ cannot be read or load in project xxxx

解决：
在经过eclipse的alt+F5强制更新无效后，根据提示找到maven仓库报错的目录，回到目录找到地址 C:\Users\xxx.m2\repository\commons-lang\commons-lang\2.6 并删除 commons-lang 将该目录下的所有文件删除，重新更新项目，会自动重新下载对应的 maven 文件
（如果你显示的不是这个文件，就删除你显示的那个文件然后再更新项目）
问题：org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode=“hadoop”: hadoop:supergroup:rwxr-xr-x
其实这个错误的原因很容易看出来，用户Administator在hadoop上执行写操作时被权限系统拒绝.
解决：

1、在hdfs的配置文件中，将dfs.permissions修改为False

2、执行这样的操作 hadoop fs -chmod 777 /user/hadoop
（指定的处理的数据所在的位置要根据自身情况修改，不能直接抄上面的代码）
问题：hadoopt 在cmd的时候显示java_home路径没有设置正确
解决：可能是安装jdk的时候路径实在prom file 下 出现了空间
可以改成PROGRA~1
在这里插入图片描述

这将会是一个好名字
关注
  • 14
    点赞
  • 踩
  • 61
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
HADOOP快速入门及搭建集群环境
10-14
本资源旨在指导读者快速入门HADOOP，并搭建集群环境，以便更好地进行大数据处理和分析。 1. HADOOP背景介绍 HADOOP是apache基金会下的开源项目，始于2005年，由Doug Cutting和Mike Cafarella开发。HADOOP的出现...
mapreduce基础实战.doc
最新发布
05-23
3. **环境搭建**：熟悉如何在特定环境下搭建MapReduce，例如在Ubuntu操作系统和Hadoop平台上的配置和安装过程。 4. **实战演练**：通过实际的案例来学习MapReduce编程，如词频统计任务、成绩统计、文件内容合并去重...
使用Eclipse创建MapReduce工程
weixin_64420247的博客
03-27 2784
1.实训目标（1）掌握以Exlipse创建MapReduce工程2.实训环境（1）使用CentOS的Linux操作系统搭建的3个节点（2）使用Eclipse软件作为编程软件（3）使用插件hadoop-eclipse-plugin-2.x.x.jar3.实训内容（1）配置MapReduce环境（2）新建MapReduce工程4.实训步骤4.1配置MapReduce环境。
mapreduce环境配置
m0_61229395的博客
03-18 1103
本例在node01伪分布式配置，node02,node03,node04,node05高可用环境配置，在node01实践编程，本例能够运行的前提是搭建好以上环境hadoop环境搭建。
2024年最新eclipse配置mapreduce全教程(2)，最新2024年大数据开发大厂面试经验
2401_84586417的博客
05-14 389
将下载好的plugin包，放在你的eclipse的plugin目录下（我放在plugin没有效果，放着dropins，就可以了）**
Mapreduce（Java程序编写）
weixin_53788274的博客
03-23 1952
Mapreduce：Map阶段Reduce阶段
MapReduce环境准备
qq_70085330的博客
06-10 456
MapReduce环境前期搭建
MapReduce开发环境搭建
SoundSlow的博客
05-03 1550
MapReduce运行在linux系统上，但是对于开发而言，系统平台可能是windows平台，因为在看法测试时，需要让程序运行在Linux上的hadoop集群上。第一种方式是：建立windows和linux之间的连接，开发平台eclipse在windows上，调用hadoop的运行接口和文件存储接口。（windows上没有配置hadoop，因此无法直接在windows上调试，只能开发完，打包...
Eclipse中搭建MapReduce开发环境，构建普通的MapReduce项目详细步骤
weixin_43986204的博客
05-15 4364
一、Eclipse中搭建MapReduce开发环境 1.安装Eclipse（跳过） 2. 在Eclipse中安装Hadoop插件 下载hadoop-eclipse-plugin-2.7.3.jar包（对应你安装的hadoop版本） 下载好之后解压把hadoop-eclipse-plugin-2.7.3.jar复制到你安装eclipse的路径的plugins这个文件夹下（例如我的：D:\Tools\...
java 8 map reduce_Java的map和reduce
weixin_32235191的博客
02-16 463
背景虽然目前处理器核心数已经发展到很大数目，但是按任务并发处理并不能完全充分的利用处理器资源，因为一般的应用程序没有那么多的并发处理任务。基于这种现状，考虑把一个任务拆分成多个单元，每个单元分别得到执行，最后合并每个单元的结果。Fork/Join框架是JAVA7提供的一个用于并行执行任务的框架，是一个把大任务分割成若干个小任务，最终汇总每个小任务结果后得到大任务结果的框架工作窃取算法指的是某个线程...
大数据基础编程、实验和案例教程 第2版
03-20
本实践教程主要介绍大数据软件环境的搭建、大数据基础编程和大数据实验案例，可以帮助大数据学习者有效构建大数据实验环境，快速开展入门级编程。内容包括Linux系统的安装、Hadoop的安装、HDFS基础编程、HBase安装和...
黑马程序员-Hadoop2.0安装部署、MapReduce编程实践资料
05-13
Hadoop2.0安装部署、MapReduce编程实践： 1.Hadoop 2.0体系介绍 2.Hadoop 2.0安装部署方法 3.MapReduce编程实践 4.MapReduce和关系型数据库计算速度比较
大数据应用案例-如何搭建大数据平台技术架构？.docx
11-24
《大数据应用案例——如何搭建大数据平台技术架构》 在当今数字化时代，大数据的应用已经成为企业竞争力的关键因素。本文以物联网企业掌慧纵盈为例，详细解析了如何构建一个高效且适应业务发展需求的大数据平台技术...
实时计算框架：Spark集群搭建与入门案例.docx
04-26
实时计算框架Spark是一种高效的大规模数据处理工具，其核心特性在于内存计算，使得数据处理速度比传统的MapReduce有了显著提升。Spark通过DAG（有向无环图）执行引擎优化了计算流程，支持多种计算模式，包括批处理、...
Java编写MapReduce的步骤
feizuiku0116的博客
01-04 1429
Mapper 自定义类继承Mapper类 重写自定义类中的map方法，在该方法中将K1和V1转为K2和V2 将生成的K2和V2写入上下文中 二、Reduce 自定义类继承Reduce类 重写Reducer中的reduce方法，在该方法中将K2和V2转为K3和V3 将K3和V3写入上下文中 三、Driver 整个程序需要一个Driver来进行提交，提交的是一个描述了各种必要信息的job对象 定义类，编写main方法 在main方法中指定以下内容 创建一个job任务对象 指定job所在的jar包 指
用JAVA实现MapReduce
菜鸟也学大数据的博客
09-18 2526
这里的MapReduce实现的是分词计数 pom.xml文件 版本号需要跟你自己安装的hadoop版本号一样 hadoop-common hadoop-hdfs hadoop-auth hadoop-client hadoop-mapreduce-client-core hadoop-mapreduce-client-jobclient <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.ap.
hadoop之MapReduce架构及Yarn环境搭建
抱愚守拙，持之以恒；不问结果，相信过程.
09-21 399
MapReduce架构 基于hadoop2.0架构是运行于YARN环境的。 参考：http://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html   YARN环境-主从结构 整个yarn环境是MapReduce的运行环境 主节点Resource Manager 负责调度，是Resource Ma...
GitChat·大数据 | 史上最详细的Hadoop环境搭建
热门推荐
技术杂谈
09-05 4万+
GitChat 作者：鸣宇淳 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。
Hadoop那些事儿（二）---MapReduce开发环境搭建
dawuafang
01-19 1017
上一篇文章介绍了在ubuntu系统中安装Hadoop的伪分布式环境，这篇文章主要为MapReduce开发环境的搭建流程。 1.HDFS伪分布式配置 使用MapReduce时，如果需要与HDFS建立连接，及使用HDFS中的文件，还需要做一些配置。 首先进入Hadoop的安装目录 cd /usr/local/hadoop/hadoop2 在HDFS中创建用户目录 ./bin/...
mapreduce环境搭建
01-08
以下是搭建MapReduce环境的步骤： 1. 安装Hadoop：首先，您需要安装Hadoop。您可以从Hadoop官方网站下载适合您操作系统的二进制文件，并按照官方文档中的说明进行安装。 2. 配置Hadoop：安装完成后，您需要进行一些配置。主要的配置文件是`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`。您可以根据您的需求进行相应的配置，例如设置Hadoop的工作目录、数据存储目录、日志目录等。 3. 启动Hadoop集群：在配置完成后，您可以使用以下命令启动Hadoop集群： ```shell start-dfs.sh # 启动HDFS start-yarn.sh # 启动YARN ``` 4. 准备输入数据：在运行MapReduce作业之前，您需要准备输入数据。您可以将数据上传到HDFS中的某个目录中，例如： ```shell hdfs dfs -mkdir -p /input # 创建输入目录 hdfs dfs -put <本地文件路径> /input # 将本地文件上传到输入目录 ``` 5. 编写MapReduce程序：接下来，您需要编写MapReduce程序。您可以使用Java、Python等编程语言来编写程序。在程序中，您需要定义Mapper和Reducer函数，并实现相应的逻辑。 6. 打包和上传程序：完成程序编写后，您需要将程序打包成JAR文件，并上传到Hadoop集群中。您可以使用以下命令将JAR文件上传到HDFS中的某个目录： ```shell hdfs dfs -mkdir -p /mapreduce # 创建程序目录 hdfs dfs -put <本地JAR文件路径> /mapreduce # 将JAR文件上传到程序目录 ``` 7. 运行MapReduce作业：最后，您可以使用以下命令来运行MapReduce作业： ```shell yarn jar /mapreduce/<JAR文件名>.jar <主类名> <输入目录> <输出目录> ``` 以上是搭建MapReduce环境的基本步骤。根据您的需求和具体情况，可能还需要进行其他配置和操作。请参考Hadoop官方文档以获取更详细的信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值