![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
爱学习的老冰棍
一杯数据入喉,自此编程别回头
展开
-
大数据之Zookeeper
大数据之Zookeeper1. Zookeeper入门1.1 概述1.2特点1.3 数据结构1.4 应用场景2. Zookeeper的安装本地安装部署3.Zookeeper操作3.1 分布式安装部署3.2 客户端命令行操作3.3 API 操作3.3.1 idea中maven环境搭建3.3.2 创建Zookeeper客户端4. Zookeeper 原理4.1 节点类型4.2 Stat结构体4.3 监听器原理(ZAP)4.4 选举机制4.5 写数据流程5.总结1. Zookeeper入门1.1 概述Zo原创 2020-09-12 23:01:49 · 518 阅读 · 0 评论 -
大数据之Yarn
大数据之Yarn1. Yarn 基本架构2. Yarn 工作机制3. 作业提交全过程总结4. 资源调度器4.1 先进先出调度器(FIFO)4.2 容量调度器(Capacity Scheduler)4.3 公平调度器(Fair Scheduler)5. 容量调度器多队列提交案例1. 需求2. 如何配置3.实操一下Yarn就是管理整个集群资源的操作平台,你可以看作是资源池,而MapReduce是需要Yarn的资源支持的运算程序。介绍完,我会把整个的Yarn、HDFS、MapReduce等串联起来,看他们是如原创 2020-09-11 19:30:33 · 607 阅读 · 0 评论 -
大数据之(三)MapReduce
大数据之(三)MapReduce3.4 OutPutFormat数据输出3.4.1 OutputFormat接口实现类3.4.2 自定义OutputFormat3.4.3 自定义OutputFormat案例实操3.5 join多种应用3.5.1 Reduce join3.5.2 Map joinMapReduce的内容较多,上两节介绍了MapReduce阶段的InputFormat、Map、以及Reduce的原理机制,我相信大家肯定会遇到各种bug及疑惑,没有算我输????,大家可以在下面留言,我们一起原创 2020-09-10 17:19:56 · 236 阅读 · 0 评论 -
大数据之二MapReduce
大数据之(二)MapReduce3、MapReduce框架原理3.1 InputFormat数据输入3.1.1切片与MapTask并行度决定机制3.1.2 Job提交流程源码和切片源码详解3.2 MapReduce工作流程3.3 shuffle机制3.3.1 shuffle机制3.3.2 Partition分区3.3.3 WritableComparable排序3、MapReduce框架原理3.1 InputFormat数据输入MapReduce的数据流#mermaid-svg-AWHbmH73原创 2020-09-09 00:39:14 · 388 阅读 · 0 评论 -
大数据之(一)Mapreduce
1、Mapreduce概述1.1定义MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上。1.2优缺点优点(1)MapReduce易于编程它简单的实现一些接口,就可以的完成一个分布式程序。(2)良好的扩展性可以通过简单的增加机器来扩展。(3)高容错性其中一台机器挂了,它可以把上面的计算任务转移到原创 2020-09-07 23:33:59 · 630 阅读 · 0 评论 -
大数据之HDFS
1、HDFS概述1.1HDFS产出背景及定义HDFS产生背景随着数据量的指数式增长,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。HDFS定义HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务原创 2020-09-06 17:37:12 · 918 阅读 · 0 评论 -
大数据之Hadoop入门
1、大数据概论我接触大数据准确来说是在我上大二的时候,我在跟我的系主任一起做项目的时候,那个时候处理的国外的数据,大约是由500W的数据,当时我用的舍友的笔记本,直接卡到打不开,也就是在那个时候,才有了大数据的概念。好了,进入正题!1.大数据概念大数据:指无法在一定时间范围内用日常的软件工具进行分析、处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长和多样化的信息资产。所以学习大数据就是主要解决海量数据的存储和海量数据的分析计算问题。2.大数据特原创 2020-09-04 21:26:27 · 2781 阅读 · 0 评论