![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
框架
文章平均质量分 96
Aphelios_King
一个热爱电竞爱耍电脑,且爱上编程的当代大学生
展开
-
Hadoop 学习 --- Yarn(四)
Hadoop – yarn 1. Yarn 资源调度器 Yarn 是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。 1.1 Yarn 的基础架构 YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成 1.2 Yarn 工作机制 (1)MR 程序提交到客户端所在的节点。 (2)YarnR转载 2022-10-01 18:13:46 · 284 阅读 · 0 评论 -
Hadoop 深入浅出 ---- MapReduce(3)
MapReduce 1.MapReduce概述 1.1MapReduce定义 MapReduce 是一个分布式运算程序的编程框架,是用户开发“基于 Hadoop 的数据分析应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个 Hadoop 集群上。 1.2MapReduce 优缺点 1.2.1优点 1. MapReduce 易于编程 它简单的实现一些接口,就可以完成一个分布式程序,这个分布式程序可以分布到大量廉价的原创 2022-03-17 15:29:17 · 671 阅读 · 1 评论 -
Hadoop 深入浅出----HDFS(2)
Hadoop( HDFS ) 1.HDFS 概述 1.1 HDFS 产出背景及定义 1.1.1 HDFS 产生背景 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。 1.1.2 HDFS 定义 HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;原创 2022-03-09 19:49:38 · 360 阅读 · 0 评论 -
Hadoop 深入浅出 ---- 入门 (1)
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar原创 2022-02-23 23:46:51 · 1761 阅读 · 0 评论 -
Spring 的 初始化 ------- refresh()
Spring 的初始化 想必,Spring 不陌生吧,Java 中核心框架了吧,面试官常问的一个点,源码写的也是最漂亮的一个框架。 核心是 IOC 和 AOP , IOC 说白了 就是一个容器,将所有的都放在一起进行管理 ,AOP 就是动态的在你执行这些 Bean 中的方法的时候,加入一些增强的功能。Spring 也强大在于它的兼容性,其中容器在初始化的时候就是一个加载 Bean 的过程,十分重要。 Spring IOC 有几种初始化的方式 ClassPathXmlApplicationContext原创 2021-10-31 19:46:40 · 108 阅读 · 0 评论