MapReduce
关注
分享
扫一扫
文章平均质量分 86
是xunxun啊
这个作者很懒，什么都没留下…
展开
-
MapReduce（四）——切片机制之FileInputFormat
整个MapReduce的过程可以划分为InputFormat、Shuffle、OutputFormat。在InputFormat的过程中，需要决定创建几个MapTask来进行运算，而MapTask的个数又部分取决于切片数。切片指的是将Input文件切片，以此来处理大文件。在切片机制中有很多内容需要了解，本文接下来会展开说明。原创 2021-12-30 12:00:00 · 530 阅读 · 0 评论 -
MapReduce（五）——切片机制之TextInputFormat与CombineTextInputFormat
本文介绍了MapReduce中TextInputFormat与CombineTextInputFormat的切片机制，给出了CombineTextInputFormat的代码实现原创 2021-12-31 12:00:00 · 1058 阅读 · 0 评论 -
MapReduce笔记（三）——序列化案例
主机在互相传送数据时，是无法将一个对象直接给到另一台主机上的，需要在以某种形式把对象的内容封装进包中然后通过网络发送过去。而最主要的一种手法就是把对象编程一个字符串的形式，而这个字符串的书写规则是双方暗中约定好的。案例描述：统计每个电话号的上行流量（upFlow）、下行流量（downFlow）和总流量（sumFlow）。原创 2021-12-29 12:00:00 · 485 阅读 · 0 评论 -
MapReduce程序在hadoop集群中运行时遇到的问题
本文介绍了将单机模式的wordcount部署到hadoop集群上需要注意的问题，并给出了VMware虚拟机CentOS7突然没有ens33，2.3 GB of 2.1 GB virtual memory used. Killing container.这两个问题的部分解决办法原创 2021-12-28 09:38:05 · 969 阅读 · 0 评论 -
MapReduce学习笔记（二)——Mapper、Reducer和Driver
MapReduce编程，WordCount的Example，如何编写Mapper、Reducer和Driver所对应的业务代码。原创 2021-12-27 14:11:29 · 2818 阅读 · 0 评论 -
MapReduce学习笔记（一）——WordCount环境准备
本文介绍如何在单机模式下准备编写一个简单的wordCount程序。WordCount是一个很经典的MapReduce的例子，hadoop也自带了wordcount的mapreduce的example。wordcount也可说是集群计算中的helloworld。原创 2021-12-26 18:00:11 · 4035 阅读 · 0 评论