hadoop基础学习笔记
文章平均质量分 78
有windows、linux两个版本搭建Hadoop集群,对Hadoop集群学习的笔记整理记录
秋栗圆圆
愿成长, 落落大方,枯木逢春,不负众望。
展开
-
HDFS的数据流
(1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。(2)NameNode返回是否可以上传。(3)客户端请求第一个 Block上传到哪几个DataNode服务器上。(4)NameNode返回3个DataNode节点,分别为dn1、dn2、dn3。(5)客户端通过FSDataOutputStream模块请求dn1上传数据,dn1收到请求会继续调用dn2,然后dn2调用dn3,将这个通信管道建立完成。原创 2023-05-15 14:05:43 · 869 阅读 · 0 评论 -
MapReduce框架原理:6.OutputFormat数据输出
MapReduce框架原理:6.OutputFormat数据输出原创 2023-05-15 14:02:25 · 545 阅读 · 0 评论 -
MapReduce框架原理:7.Join多种应用
Map端的主要工作:为来自不同表或文件的key/value对,打标签以区别不同来源的记录。然后用连接字段作为key,其余部分和新加的标志作为value,最后进行输出。Reduce端的主要工作:在Reduce端以连接字段作为key的分组已经完成,我们只需要在每一个分组当中将那些来源于不同文件的记录(在Map阶段已经打标志)分开,最后进行合并就ok了。原创 2023-05-15 14:02:54 · 692 阅读 · 0 评论 -
Hadoop搭建:伪分布式(Windows版本)
Hadoop搭建:伪分布式(Windows版本)已经处理过直接解压到C盘就可链接:https://pan.baidu.com/s/1UatbMO3Xx8tD9jIP4q2jWw?pwd=nzsr提取码:nzsr--来自百度网盘超级会员V1的分享。原创 2022-09-20 15:25:05 · 1127 阅读 · 0 评论 -
Hadoop搭建:完全分布式(Linux版本)(一阶段)
hadoop完全分布式搭建原创 2022-09-26 10:24:34 · 636 阅读 · 0 评论 -
Hadoop搭建:完全分布式(Linux版本)(二阶段)
Hadoop搭建:完全分布式(Linux版本)(二阶段)原创 2022-09-26 10:25:23 · 91 阅读 · 0 评论 -
Hadoop搭建:完全分布式(Linux版本)(三阶段)
Hadoop搭建:完全分布式(Linux版本)(三阶段)原创 2022-09-26 10:26:15 · 499 阅读 · 0 评论 -
HDFS:1.概述
HDFS (Hadoop Distributed File System)文件系统原创 2022-09-22 17:29:03 · 55 阅读 · 0 评论 -
HDFS:2.shell操作(重点)
HDFS的shell操作原创 2022-09-26 08:34:25 · 92 阅读 · 0 评论 -
HDFS:3、API客户端操作
HDFS:API客户端操作原创 2022-10-10 21:02:00 · 154 阅读 · 0 评论 -
MapReduce:1.概述
MapReduce:1.概述原创 2022-10-19 10:22:25 · 543 阅读 · 0 评论 -
Hadoop序列化
MapReduce案例:Hadoop序列化原创 2022-10-24 09:02:07 · 243 阅读 · 0 评论 -
MapReduce框架原理(1)
MapReduce框架原理(1)原创 2022-10-24 09:44:03 · 57 阅读 · 0 评论 -
MapReduce开发总结
MapReduce开发总结原创 2022-10-24 10:08:02 · 473 阅读 · 0 评论 -
Hadoop高可用 HA [搭建]
Hadoop高可用 HA [搭建]原创 2022-10-06 08:07:45 · 1195 阅读 · 0 评论