![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 84
文刀小桂
这个作者很懒,什么都没留下…
展开
-
yarn 常用命令和生产环境核心参数
【代码】yarn 常用命令和生产环境核心参数。原创 2024-05-09 12:49:14 · 342 阅读 · 1 评论 -
yarn 的调度器和调度算法
灵活性:如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一旦该队列有新的应用程序提交,则其他队列借调的资源会归还给该队列。容量调度器:Capacity Scheduler,Apache Hadoop3.x 默认调度器,是 Yahoo 开发的多用户调度器。公平调度器:Fair Scheduler,CDH 默认调度器,是 Facebook 开发的多用户调度器。多队列:每个队列可配置一定的资源量,每个队列内部默认采用 FIFO 调度策略,可设置为 DRF。根据提交作业的先后顺序,先来先服务;原创 2024-05-07 12:44:16 · 935 阅读 · 0 评论 -
yarn 的基础架构和工作机制
yarn 是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。原创 2024-05-06 13:16:53 · 795 阅读 · 0 评论 -
MapReduce 整体的工作流程和原理介绍
一、MR 的整体工作流程MapTask 阶段Shuffle 阶段ReduceTask 阶段二、MapTask 阶段1. 工作机制Read 阶段:客户端根据待处理的数据进行接片,然后向 Yarn 提交作业信息申请 对应数量的 MapTask;MapTask 启动后通过 InputFormat 获得的 RecordReader,从输入 InputSplit 中解析出一个个的 key/value 读取到 Mapper 程序。Map 阶段:将解析出的 key/value 交给用户编写的 ma原创 2024-05-05 16:13:36 · 938 阅读 · 0 评论 -
MapReduce 的序列化介绍
序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输。反序列化就是将收到字节序列(或其他数据传输协议)或者是磁盘的持久化数据,转换成内存中的对象。实现 Hadoop 序列化接口 Writable//1 实现 Writable 接口 public class FlowBean implements Writable {//上行流量 private long downFlow;//下行流量 private long sumFlow;原创 2024-05-02 10:01:19 · 357 阅读 · 1 评论 -
MapReduce 的基本介绍和入门案例
2、MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个 Hadoop 集群上。1、MapReduce 是一个分布式运算程序的编程框架,是用户开发“基于 Hadoop 的数据分析应用”的核心框架。使用 IDEA 创建一个 Maven 工程 MapReduceDemo。需求:在给定的文本文件中统计输出每一个单词出现的总次数。原创 2024-04-30 18:32:18 · 689 阅读 · 4 评论 -
HDFS 中 NameNode、DataNode 和 SecondaryNameNode 的工作机制
【代码】HDFS 中 NameNode、DataNode 和 SecondaryNameNode 的工作机制。原创 2024-04-29 18:19:35 · 582 阅读 · 0 评论 -
HDFS 的读写流程是怎么样的
随着数据量越来越大,当在一个操作系统存不下所有的数据时,就需要分配到更多的操作系统管理的磁盘中存储,但由此带来管理和维护的不方便,因此需要一种系统来管理多台机器上的文件,从而产生了分布式文件管理系统。HDFS 是分布式文件管理系统中的一种。HDFS(Hadoop Distributed File System),是一个分布式文件管理系统,用于存储文件,通过目录树来定位文件;其次,它是由多个服务器联合起来实现功能,集群中的服务器有各自的角色。原创 2024-04-28 18:43:07 · 595 阅读 · 0 评论 -
Hadoop生产环境集群搭建
自定义 hadoop 集群启停脚本#进入用户家目录下的 bin 目录#创建集群启停脚本#添加内容/bin/bashthenexit;ficase $1 in"start")echo "=================== 启动hadoop集群 ==================="echo "--------------- 启动hdfs ---------------"echo "--------------- 启动 yarn ---------------"原创 2024-04-26 19:23:42 · 897 阅读 · 1 评论