![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 94
4935同学
大数据开发者,学习和记录工作中常用的知识,有志同道合的小伙伴欢迎一起交流学习~
展开
-
kerberos详解
Kerberos始于20世纪80年代早期麻省理工学院(MIT)的一个研究项目,是一个网络身份验证系统。Kerberos提供的完整定义是安全的、单点登录的、可信的第三方相互身份验证服务。原创 2023-12-01 17:28:54 · 1721 阅读 · 2 评论 -
Hadoop之MapReduce实现原理-编程模型篇
一、编程模型概述1. MR接口体系结构2. 序列化3. Reporter参数4. 回调机制二、API解析1. 作业配置与提交1. 配置文件介绍2. MR作业配置与提交1. getSplits()方法2. createRecordReader()方法4. Mapper与Reducer。原创 2023-05-08 15:41:11 · 467 阅读 · 0 评论 -
Hadoop之MapReduce实现原理-基础篇
Task分为MapTask和ReduceTask,HDFS是以固定大小的block为单位存储数据,而MR是以split为单位处理数据,block是物理概念,split是逻辑概念,split只包含一些元数据信息,比如数据起始位置、数据长度、数据所在节点等,split的划分方法是用户自己决定的,但是split的数目决定了MapTask的数目,每个split会交由一个MapTask处理。待所有Task执行完毕后,整个作业执行成功。原创 2023-05-04 18:00:54 · 1702 阅读 · 2 评论 -
Hadoop学习-HDFS
Hdfs学习总结原创 2022-07-04 15:23:34 · 337 阅读 · 0 评论 -
Hadoop学习-YARN
根据网上资料进行总结学习用转载 2022-07-04 15:20:50 · 56 阅读 · 0 评论