- 博客(11)
- 收藏
- 关注
RSS订阅原创 MapReduce（五）——切片机制之TextInputFormat与CombineTextInputFormat
本文介绍了MapReduce中TextInputFormat与CombineTextInputFormat的切片机制，给出了CombineTextInputFormat的代码实现
2021-12-31 12:00:00
1049
原创 MapReduce（四）——切片机制之FileInputFormat
整个MapReduce的过程可以划分为InputFormat、Shuffle、OutputFormat。在InputFormat的过程中，需要决定创建几个MapTask来进行运算，而MapTask的个数又部分取决于切片数。切片指的是将Input文件切片，以此来处理大文件。在切片机制中有很多内容需要了解，本文接下来会展开说明。
2021-12-30 12:00:00
529
原创 MapReduce笔记（三）——序列化案例
主机在互相传送数据时，是无法将一个对象直接给到另一台主机上的，需要在以某种形式把对象的内容封装进包中然后通过网络发送过去。而最主要的一种手法就是把对象编程一个字符串的形式，而这个字符串的书写规则是双方暗中约定好的。案例描述：统计每个电话号的上行流量（upFlow）、下行流量（downFlow）和总流量（sumFlow）。
2021-12-29 12:00:00
479
原创 MapReduce程序在hadoop集群中运行时遇到的问题
本文介绍了将单机模式的wordcount部署到hadoop集群上需要注意的问题，并给出了VMware虚拟机CentOS7突然没有ens33，2.3 GB of 2.1 GB virtual memory used. Killing container.这两个问题的部分解决办法
2021-12-28 09:38:05
964
原创 MapReduce学习笔记（二)——Mapper、Reducer和Driver
MapReduce编程，WordCount的Example，如何编写Mapper、Reducer和Driver所对应的业务代码。
2021-12-27 14:11:29
2766
原创 MapReduce学习笔记（一）——WordCount环境准备
本文介绍如何在单机模式下准备编写一个简单的wordCount程序。WordCount是一个很经典的MapReduce的例子，hadoop也自带了wordcount的mapreduce的example。wordcount也可说是集群计算中的helloworld。
2021-12-26 18:00:11
4021
原创 HDFS学习笔记（二）——NameNode和SecondNameNode
介绍了HDFS中NameNode哈SecondaryNameNode的工作流程，和所涉及的文件edits与fsimage的存在形式。
2021-12-23 13:31:19
475
原创 HDFS学习笔记（一）——读写数据
介绍了HDFS的读和写的流程，涉及到副本节点选择、Block、Chunk、Packet、ACk等内容。其中描述了Client、NameNode和DataNode三者之间的交互流程。
2021-12-22 16:13:03
1414
1
原创 GoogleFileSystem学习笔记（一）
GoogleFileSystem的三个基础内容，读写规模、GFS架构和工作流程、元数据的处理方式。
2021-12-20 22:25:57
261
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人