hadoop中MapReduce对大量小文件的操作

最新推荐文章于 2023-01-27 14:54:45 发布
最新推荐文章于 2023-01-27 14:54:45 发布
阅读量283 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZZZ_com/article/details/108874698
版权
该博客展示了如何在Hadoop MapReduce中通过自定义InputFormat `MyInPutFormat` 一次性读取大量小文件，实现了对每个文件内容的完整处理。`WebLogSequenceFileMapper` 类用于映射数据，将文件名作为key，文件内容作为value发送给Reducer。最终输出使用了`SequenceFileOutputFormat`。
摘要由CSDN通过智能技术生成

package com.zyc.hadoop.mapreduce.weblog;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat;
import java.io.IOException;

/**
* Created with IntelliJ IDEA.
*
* @Author: zyc2913@163.com
* @Date: 2020/9/10 22:14
* @Version: 1.0
* @Description: 大量小文件的处理：通过自定义InputFormat完成一次性读取整个文件的操作
*/
public class WebLogSequenceFile {
    public static void main(Strin

最低0.47元/天 解锁文章
白玉青峰
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop17：【案例】MapReduce性能优化之小文件问题解决方案
weixin_40612128的博客
03-03 900
一、MapReduce性能优化 现在大家已经掌握了MapReduce程序的开发步骤，注意了，针对MapReduce的案例我们并没有讲太多，主要是因为在实际工作中真正需要我们去写MapReduce代码的场景已经是凤毛麟角了，因为后面我们会学习一个大数据框架Hive，Hive支持SQL，这个Hive底层会把SQL转化为MapReduce执行，不需要我们写一行代码，所以说工作中的大部分需求我们都使用SQL去实现了，谁还苦巴巴的来写代码啊，一行SQL能抵你写的几十行代码，你还想去写MapReduce代码吗，肯定不想
hadoop map-reduce中的文件并发操作
09-10
总的来说，Hadoop MapReduce通过其内在的并行性和分布式处理能力，能够有效地处理大量文件的并发操作。通过合理设置reduce任务数量、管理文件操作的并发性和处理可能出现的异常，可以克服文件并发操作中的挑战，实现...
MapReduce应用中CombineFileInputFormat原理与用法
Kelvin Liang Study Footprint
03-20 1230
MapReduce应用中CombineFileInputFormat原理与用法 HDFS本身被设计来存储大文件，但是有时难免会有小文件出现，有时很可能时大量的小文件。通过MapReduce处理大量小文件时会遇到些问题。 MapReduce程序会将输入的文件进行分片(Split)，每个分片对应一个map任务，而默认一个文件至少有一个分片，一个分片也只属于一个文件。这样大量的小文件会导致大
Hadoop简介（HDFS、MR、HDFS读写文件详解）
Allenzyg的博客
05-20 2023
Hadoop 2.x由HDFS、MapReduce和YARN三个分支构成； HDFS：NN Federation、HA MapReduce：运行在YARN上的MR YARN：资源管理系统 Hadoop核心 Hadoop的核心就是HDFS(Hadoop Distributed File System，Hadoop分布式文件系统 )和MapReduce，而两者只是理论基础，不是具体可使用的高级应用，Hadoop旗下有很多经典子项目，比如HBase、Hive等，这些都是基于HDFS和MapRedu.
hadoop中如何控制map的数量
jediael_lu的专栏
08-08 3002
hadoop中如何控制map的数量@(HADOOP)[hadoop]hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。为了方便介绍，先来看几个名词： block_size
分区——合理设置Map及Reduce数、复杂文件增加Map数
qq_61645895的博客
02-11 2268
合理设置Map及Reduce数 如果MapReduce数据量过少，则单个的处理数据量过大；如果MapReduce数据量过多，则抢资源。
大数据Hadoop、MapReduce、Hive项目实践
最新发布
11-09
大数据Hadoop、MapReduce、Hive项目实践是当前大数据处理领域中最流行的技术组合。本文将对大数据的概念、特性、应用场景，以及Hadoop、MapReduce、Hive等技术的架构、组件、应用场景进行详细介绍。 大数据概念 ...
3大数据技术之Hadoop（MapReduce）.doc
08-11
Word Count是最常见的MapReduce示例，它统计文本文件中每个单词出现的次数。Mapper阶段将输入文本分割成单词，产生<单词, 1>的键值对；Reducer阶段将所有相同的单词键值对进行累加，最终输出每个单词及其总数。 ...
mapred.zip_hadoop_hadoop mapreduce_mapReduce
09-20
在Hadoop生态系统中，MapReduce是一种分布式计算框架，它允许用户编写并运行处理大量数据的程序。这个"mapred.zip"文件显然包含了与Hadoop MapReduce相关的测试样例、文档和源码，这对于理解MapReduce的工作原理以及...
Hadoop mapreduce实现wordcount
01-28
WordCount 是 MapReduce 框架中经典的入门示例，它统计文本文件中每个单词出现的次数。在这个案例中，我们将深入探讨如何在 Hadoop 环境中使用 MapReduce 实现 WordCount。 【描述】在 Hadoop 环境中，WordCount 的...
【Hadoop】MapReduce小文件问题解决方案（SequenceFile，MapFile）
ccql's Blog
01-27 957
Hadoop的HDFS和MapReduce都是针对大数据文件来设计的，在小文件的处理上不但效率低下，而且十分消耗内存资源。在这篇博客中有提到HDFS的小文件问题，集群启动时DataNode会向NameNode上报所有的Block块信息，每个块（无论大小）对象约占150byte，而NameNode的内存是有限的，那么有可能集群内部其实并没有存储多少数据，但是NameNode已经存满了，针对这个问题采用Federation机制可以缓解。
MapReduce编程场景之小文件合并
lv_hulk的博客
02-17 1394
MapReduce编程场景之小文件合并 （一）需求 无论 HDFS 还是 MapReduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决方案 （二）分析 小文件的优化无非以下几种方式： 1、 在数据采集的时候，就将小文件或小批数据合成大文件再上传 HDFS 2、 在业务处理之前，在 HDFS 上使用 MapReduce 程序对小文件进行合并 3、 在 Ma...
06_MapReduce编程三
TU_JCN的博客
10-21 1221
MR编程实例二 目录 一、MR编程—自定义OutputFormat—评论分级存储 1.1、需求 1.2、分析 1.3、实现要点 1.4、MR代码 1、main方法 2、自定义outputformat 3、自定义RecordWriter 4、完整代码 二、MR编程—二次排序（重点） 2.1 需求 2.2 分析 2、main类、mapper、reducer ...
MapReduce---连接操作--map端连接
tianqinglei的博客
08-18 671
在项目开发中，要实现两个“表”的join操作，其中一个表数据量小，一个表很大，这种场景在实际中非常常见，比如“订单日志” join “产品信息”采用map端连接  原理：适用于大表 + 小表(载入内存)。 map之前执行，加载文件到内存，形成map 可以大大提高join操作的并发度，加快处理速度 1、JoinMapper package hadoop.join.map; im
Hadoop开发常用的InputFormat和OutputFormat
p_x1984的专栏
06-30 243
Hadoop中的Map Reduce框架依赖InputFormat提供数据，依赖OutputFormat输出数据；每一个Map Reduce程序都离不开他们。Hadoop提供了一系列InputFormat和OutputFormat方便开发，本文介绍几种常用的。 TextInputFormat 用于读取纯文本文件，文件被分为一系列以LF或者CR结束的行，key是每一行的位置（偏移量,Long...
HIVE STORED&Row format（四）
热门推荐
anti
12-22 2万+
HIVE STORED&amp;amp;Row format hive表数据在存储在文件系统上的，因此需要有文件存储格式来规范化数据的存储，一边hive写数据或者读数据。hive有一些已构建好的存储格式，也支持用户自定义文件存储格式。主要由两部分内容构成file_format和row_format,两者息息相关，在create table语句中结构如下： [ROW FORMAT row_format]...
Hive常用输入和压缩建表语句
L, there!
09-05 2751
Text普通文本 create table `cp_api_log`(`line` string) partitioned by (`date` string) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile -- 或 stored as 直接指定输入输出格...
MapReduce框架学习（3）——Job的创建及配置
xiaozhou的博客
10-27 2873
参考：JeffreyZhou的博客园 《Hadoop权威指南》第四版 0 一个MR作业，包括三点： 输入数据 MR程序 配置信息 前面两篇学习了数据格式和MR过程（map函数和reduce函数），那么今天再讲一下配置信息，是怎么把 数据 和 程序结合起来的。 3.1 代码 打算对照代码来讲解，这样可能要有逻辑一点，不至于讲到最后都不知道自己的线索在哪。先贴上WordCount中的Job...
hive 分区表使用的一些注意事项
赶路人儿
11-02 2432
hive 外表数据读取： 1、hive非分区普通表： 1）建立外表： CREATE EXTERNAL TABLE `test_liu`(   `a` string,    `b` string,    `c` string) ROW FORMAT DELIMITED    FIELDS TERMINATED BY '\t'  STORED AS INPUTFORMAT    '
云计算中的Hadoop：MapReduce初探
"Hadoop在云计算中的用途主要体现在其分布式文件系统和MapReduce并行计算框架上，提供了大规模、低成本的存储和高效的计算能力。" 在云计算领域，Hadoop扮演着至关重要的角色。作为一种开源框架，Hadoop设计的目标...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值