Hadoop
文章平均质量分 95
程序胖
这个作者很懒,什么都没留下…
展开
-
大数据Hadoop学习(四)Yarn
目录Yarn (资源调度器)Yarn 基础框架工作机制Yarn 调度器和调度算法FIFO调度算法容量调度器(Capacity Scheduler)公平调度器(Fair Scheduler)常用命令Yarn 生产核心参数Yarn 案例实操Yarn (资源调度器)Yarn 是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。Yarn 基础框架Yarn 主要由下面几个组件构成:ResourceM原创 2021-09-08 16:53:08 · 530 阅读 · 2 评论 -
大数据Hadoop学习(三)MapReduce
目录MapReduce概述定义优缺点核心思想进程常用数据序列化类型MapReduce编程规范实操搭建环境编写程序Hadoop序列化MapReduce框架原理Hadoop数据压缩常见错误及解决办法MapReduce概述定义MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架核心功能,就是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上优缺点优点:易于编程:简单的实现一些接口,就可以完原创 2021-07-29 15:23:33 · 650 阅读 · 0 评论 -
大数据Hadoop学习(二)HDFS
HDFS概述HDFS产出背景及定义产生背景:因为数据量越来越大,在一个操作系统存不下所有的数据,那么就需要分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。定义:HDFS是一个文件系统,用于存储文件,通过目录树定位文件,其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。使用场景:适合一次写入,多次读出的场景。一个文件经过创建,写入和关闭之后就不需要改变。HDFS的优缺点优点:高容错性:原创 2021-07-26 17:35:53 · 287 阅读 · 0 评论 -
大数据Hadoop学习(一)入门
文章目录大数据概念特点应用场景Hadoop概述hadoop发展历史hadoop三大发行版本hadoop的优势hadoop的组成HDFSYARNMapReduce三者之间的关系大数据技术生态体系大数据概念指无法在一定时间范围内用常规软件工具进行捕捉,管理和处理的数据集合,是需要新处理模式才能具有更强的决策力,洞察发现力和流程优化能力的海量,高增长率和多样化的信息资产大数据主要是为了解决海量数据的采集,储存和分析计算的问题特点大量:数据量很大高速:能够快速实时的计算技术多样:数据会被分成结原创 2021-07-19 18:38:46 · 625 阅读 · 5 评论