![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
qq_43742526
沉沦
展开
-
KeyValueTextInputFormat与NLineInputFormat的简单使用
一、KeyValueTextInputFormat原理简述KeyValueTextInputFormat使用案例:1、需求统计输入文件中每一行的第一个单词相同的行数。(1)输入数据banzhang ni haoxihuan hadoop banzhangbanzhang ni haoxihuan hadoop banzhang(2)期望结果数据banzhang 2xihuan 22.需求分析3.代码实现(1)、Mapper:package com.atguigu.mapre原创 2020-07-30 21:49:22 · 293 阅读 · 0 评论 -
切片与MapTask并行度决定机制、FileInputFormat切片机制、ReduceTask并行度
目录1、切片与MapTask并行度决定机制1.1 问题引出1.2 MapTask并行度决定机制2、FileInputFormat切片机制2.1 切片机制(input.getSplits(job))2.2 切片大小参数配置3、ReduceTask的并行度3.1 设置ReduceTask并行度(个数)3.2 注意事项1、切片与MapTask并行度决定机制1.1 问题引出1.2 MapTask并行度决定机制2、FileInputFormat切片机制2.1 切片机制(input.getSplits(job原创 2020-07-30 16:09:50 · 280 阅读 · 0 评论 -
CombineTextInputFormat切片机制及其案例实操
框架默认的TextInputFormat切片机制是对任务按文件规划切片,不管文件多小,都会是一个单独的切片,都会交给一个MapTask,这样如果有大量小文件,就会产生大量的MapTask,处理效率极其低下。一、应用场景:CombineTextInputFormat用于小文件过多的场景,它可以将多个小文件从逻辑上规划到一个切片中,这样,多个小文件就可以交给一个MapTask处理。二、虚拟存储切片最大值设置CombineTextInputFormat.setMaxInputSplitSize(job,原创 2020-07-28 21:16:16 · 548 阅读 · 0 评论 -
MapReduce中自定义bean对象并实现序列化接口
实现bean对象序列化步骤有如下7步。(1)实现Writable接口(2)反序列化时,需要反射调用无参构造器,所以必须有无参构造器(3)重写序列化方法(4)重写反序列化方法(5)注意反序列化的顺序和序列化的顺序完全一致(6)要想把结果显示在文件中,需要重写toString()(7)如果需要将自定义的bean放在key中传输,则还需要实现Comparable接口,因为MapReduce框中的Shuffle过程要求对key必须能排序下面我们来看一个具体的案例需求:统计每一个手机号耗费的总上行流原创 2020-07-28 20:12:15 · 784 阅读 · 0 评论 -
自定义实现MarpReduce中的WordCount功能
1、需求在给定的文本文件中统计输出每一个单词出现的总次数。2、环境准备(1)创建Maven工程(2)在pom.xml文件中添加如下依赖<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>REL原创 2020-07-26 17:36:45 · 209 阅读 · 0 评论 -
在idea中搭建hadoop运行环境
今天我将为大家讲解一下如何使用idea搭建Hadoop运行环境,它一共有一下几个步骤:(1)、下载hadoop jar包根据自己电脑的操作系统到官网下载hadoop jar包到非中文路径(例如:D:\Develop\hadoop-2.7.2)(2)、配置HADOOP_HOME环境变量(3)、配置Path环境变量4.创建一个Maven工程HadoopDemo5.在pom文件中导入相应的依赖坐标+日志添加<dependencies> <dependency原创 2020-07-25 22:04:50 · 5023 阅读 · 1 评论