hadoop
文章平均质量分 82
炸牛奶超级甜
闲来无事看看书
展开
-
MapReduce框架原理
记录了学习MapReduce框架,其中的Mapper,Reducer,Partitioner分区,Combine合并,WritableComparable序列化和排序,还原创 2022-08-06 22:20:20 · 371 阅读 · 1 评论 -
HDFS的shell命令
在Linux环境下操作HDFS原创 2022-08-03 18:49:17 · 367 阅读 · 0 评论 -
Hadoop序列化和操作实例
类似于Java的序列化,本文实现了Hadoop序列化和bean实例结合起来有些类似于sql数据库原创 2022-08-03 18:45:07 · 377 阅读 · 0 评论 -
手写WordCount案例和MapReduce入门
自己实现入门的wordcount案例原创 2022-08-03 18:41:44 · 456 阅读 · 0 评论 -
HDFS的JavaAPI操作
java操作hadoop原创 2022-08-01 23:20:45 · 582 阅读 · 0 评论 -
HDFS读写数据流程&NameNode和SecondaryNameNode工作流程
1)客户端通过DistributedFileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。(2)NameNode返回是否可以上传。(3)客户端请求第一个Block上传到哪几个DataNode服务器上。(4)NameNode返回3个DataNode节点,分别为dn1、dn2、dn3。...原创 2022-08-01 23:01:31 · 785 阅读 · 0 评论 -
HDFS入门介绍
简单介绍HDFS产生背景,架构,和其中的块原创 2022-07-27 10:01:40 · 110 阅读 · 0 评论