Hadoop——MapReduce实现及API操作

最新推荐文章于 2024-05-25 16:52:25 发布
最新推荐文章于 2024-05-25 16:52:25 发布
阅读量268 收藏
点赞数
文章标签： java maven hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bb123116/article/details/110439856
版权

目录

一、MapReduce本地运行单词计数案例

1. 下载配置maven

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
表示maven安装成功

2. 修改maven库为本地库

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
为idea设置本地maven配置
在这里插入图片描述

3. Idea新建maven文件并创建测试类hello

在这里插入图片描述
修改pom文件
在这里插入图片描述

创建hello.java文件
在这里插入图片描述

5. 编写单词计数项目

（1）修改pom.xml文件

在这里插入图片描述
在这里插入图片描述

（2）Wordcountmapper文件

在这里插入图片描述

（3）Wordcountreducer文件

在这里插入图片描述

（4）wordcountdriver文件

==注意一定不要创建output文件夹
在这里插入图片描述
在这里插入图片描述

（5）运行成功

在这里插入图片描述
在这里插入图片描述

二、集群运行

1. 修改文件存放位置

在这里插入图片描述

2. 打jar包

在这里插入图片描述
在这里插入图片描述

3. 集群中上传用于计数的文件text.txt

在集群中创建input文件夹
在这里插入图片描述
将测试文件上传到hadoop01
在这里插入图片描述
存到/test/input目录下
在这里插入图片描述
在这里插入图片描述

4. 上传jar包

在这里插入图片描述

5. 运行

语句为：Hadoop jar jar包名 完整的主类名（mr.WordCountDriver）
在这里插入图片描述
运行过程
在这里插入图片描述

6.运行成功

在这里插入图片描述

小薄冲冲冲
关注
Hadoop高级编程——构建与实现大数据解决方案.rar
10-25
本压缩包“Hadoop高级编程——构建与实现大数据解决方案”将深入探讨如何利用Hadoop进行高效的数据操作，构建实际的大数据解决方案。 一、Hadoop概述 Hadoop是由Apache基金会开发的开源项目，主要由Hadoop ...
大数据之 MapReduce 相关的 Java API 应用
zp8126的专栏
04-01 1384
Mapper: 定义了映射阶段的接口，程序员需要实现这个接口来处理输入数据并生成中间键值对。// 实现map方法// ... 处理逻辑 ...2.Reducer: 定义了归约阶段的接口，程序员需要实现这个接口来聚合Mapper产生的中间键值对。// 实现reduce方法// ... 聚合逻辑 ...Job: 代表一个MapReduce作业，用来设置作业的各种属性，包括输入输出路径、mapper和reducer类、job配置等，并提交作业到集群运行。
IDEA 运行MapReduce程序权限不足解决办法
大数据流浪法师的学习笔记与分享
03-21 996
问题描述 IDEA 运行MapReduce程序权限不足 解决办法 1，把根目录权限设为777 2，在hadoop配置文件core-site.xml中设置hdfs.permission为false
MapReduce的API介绍
影子
03-17 1635
MapReduce自带的InputFormat介绍： SwquenceFile文件，<K,V>形式的二进制文件： package squencefile; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop..
Hadoop API 使用介绍
心如止水 宠辱不惊
11-23 5411
----------------Hadoop API 使用介绍--------------------- Hadoop API被分成（divide into）如下几种主要的包（package） org.apache.hadoop.conf 定义了系统参数的配置文件处理API。 org.apache.hadoop.fs 定义了抽象的文件系统API。 org.apac
Hadoop 调试第一个mapreduce程序过程详细记录总结以及权限问题 Permission denied: user=dr.who
qq_36864672的博客
10-23 6731
1，程序代码如下： package wc; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.h
Hadoop MapReduce v2 Cookbook.pdf
01-14
《Hadoop MapReduce v2 Cookbook》是一本针对大数据处理领域的重要参考书籍，专注于介绍Hadoop MapReduce的最新版本——v2（也称为YARN，Yet Another Resource Negotiator）。Hadoop MapReduce是Apache Hadoop框架的...
大数据学习指南合集（Hadoop、Spark、Flink等）
03-14
Hadoop——MapReduce案例   6. Hadoop——资源调度器YARN   7. Hadoop——Hadoop数据压缩 二、Zookeeper   1.Zookeeper——Zookeeper概述   2.Zookeeper——Zookeeper单机和分布式安装   3.Zookeeper——...
用MapReduce实现KMeans算法
03-21
标题中的“用MapReduce实现KMeans算法”表明我们要讨论的是如何使用Apache Hadoop的MapReduce框架来执行一种经典的机器学习算法——KMeans聚类。KMeans算法是一种无监督学习方法，用于将数据集分割成多个簇，使得...
Hadoop学习之路（二十七）MapReduce的API使用（四）
weixin_33894640的博客
03-24 195
第一题 下面是三种商品的销售数据  要求：根据以上数据，用 MapReduce 统计出如下数据： 1、每种商品的销售总金额，并降序排序 2、每种商品销售额最多的三周     第二题：MapReduce 题 现有如下数据文件需要处理: 格式：CSV 数据样例： user_a,location_a,2018-01-01 08:00:00,60 user_a,location...
MapReduce API 基本概念
weixin_34186128的博客
04-21 173
1.序列化 序列化是指将结构化对象转为字节流以便于通过网络进行传输或写入持久存储的过程。反序列化指的是将字节流转为结构化对象的过程。 在 Hadoop MapReduce 中， 序列化的主 要 作用有两个： 永久存储和进程间通信。为了能够读取或者存储 Java 对象， MapReduce 编程模型要求用户输入和输出数据中的 key 和 value 必须...
MapReduce的框架原理与API案例
twi_twi的博客
10-24 455
Hadoop中MapReduce的框架原理与API案例
基于hadoop2.5提交mapreduce任务的几种方式
wsmlhxwt777的博客
02-14 3591
方式一（服务器环境下）： 1.将写好的程序打成jar包（只要源码就行）。 2.将jar上传到集群任意一台节点，执行如下命令: hadoop jar wordCount.jar com.wt.wordcount.RunJob 方式二(本地直接调用，执行过程在服务器上)： 1.要在src下放置服务器上的hadoop配置文件： core-site.xml,hdfs-site.xml,ma
MapReduce JavaAPI编程
qq_70336944的博客
12-29 647
【代码】MapReduce JavaAPI编程。
Hadoop学习——MapReduce的组件及简单API（一）
凌大大的博客
12-27 1741
Hadoop学习——MapReduce的组件及简单API   上一篇参考Hadoop学习——MapReduce的简单介绍及执行步骤 MapReduce的组件   组件是实现MapReduce的真正干活的东西，即我们的业务逻辑，就是要写到这里边来的。MapReduce共有4个组件 一、Mapper组件 介绍   可以读取文件，默认是一行一行读取，把输入 key和value通过map()传给程序员，输...
【大数据笔记】- Hadoop MapReduce API
foxofwind的博客
11-23 1508
一.基础环境： 本文默认了你已经有一点的java基础，本机环境已安装java、maven、ide，配置好了相关的环境变量，且已经有可用的hadoop环境，已经用idea新建一个java maven项目。还要有一台linux客户机，可执行hadoop命令的。 以上环境有没完成的，自行去百度完成。 二.pom.xml引入包： <dependency> <groupId>org.apache.hadoop</groupId> ...
MapreduceAPI（wordcount）
asd623444055的博客
03-10 146
pom.xml依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apac.
Hadoop学习(3)----HDFS API
wozipa的博客
06-11 666
1 API介绍 除了HDFS shell以外，hdfs还可以通过api接口操作文件的整个文件系统，并且在MapReduce任务过过程中，也有可能会用到HDFS的api接口，今天简单介绍一下HDFS的api接口 2 api详解 我们通过实现shell命令行的方式进行api的介绍 （1）ls命令行的实现 使用api：FileSystem.list(Path path) public sta
【大数据】MapReduce JAVA API编程实践及适用场景介绍
最新发布
Joker_ZJN的博客
05-25 1385
一文详解，MapReduce JAVA API以及适用场景介绍。
Hadoop MapReduce深度解析：架构设计与实现
《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》是由董西成编著的一本专业书籍，它深入探讨了Hadoop生态系统中的核心组件——MapReduce。这本书旨在帮助读者理解MapReduce的内在工作原理，从而更好地进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值