![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
ChanKamShing
这个作者很懒,什么都没留下…
展开
-
HDFS的读写过程
一、HDFS的写过程 Client节点,调用create方法创建DistributedFileSystem对象,然后向NameNode发送写请求,NameNode允许之后,返回DataNode节点信息给Client节点,接着Client调用write方法,创建FSDataOutputStream对象,根据NameNode返回的DataNode节点信息,开始向指定的DataNo...原创 2019-10-28 12:41:29 · 392 阅读 · 0 评论 -
Hadoop1.x的单点问题与Hadoop2.x HA原理
一、HDFS1.x架构图 对于HDFS1.x来讲,它的架构图由三个组件组成:NameNode、SecondaryNameNode和DataNode。 稍微了解过hadoop1.x的同学,就会知道hadoop1.x集群里面的资源管理和作业调度及监控都是有NameNode负责,一个集群,只有一台机器(Master)有NameNode进程,这就出现一个问题,当这个...原创 2019-05-18 12:06:53 · 448 阅读 · 0 评论 -
Hadoop2.x——Yarn原理
Hadoop2.x较Hadoop1.x来说,变化非常大,主要主要体现在Hadoop2.x引入了“Yarn”这个核心部件。 hadoop1.x有两大部件,HDFS和MadpReduce,其中HDFS(Hadoop Distributed Files System)用于分布式存储文件,便于集群中各机器从上面读取和写入文件(数据),MadpReduce则是Hadoo...原创 2019-05-11 11:22:28 · 764 阅读 · 0 评论 -
搭建集群环境(CentOS7+Hadoop2.6.1+SSH)
本篇介绍如何使用虚拟机搭建Hadoop集群,此例搭建1个master和2个slave,如要更多的slave,方法如此类推。 现在已经有安装了一台虚拟机,1、查看虚拟机的虚拟网络,设置为NAT模式:编辑——>虚拟网络编辑器进入到虚拟网络编辑器界面后,单击VMnet8,这里可以查看网关IP,默认是192.168.112.2,这个很重要...原创 2019-04-08 22:36:58 · 598 阅读 · 0 评论 -
Shuffle的两种写操作
一、简介 在Hadoop的MapReduce框架中,Shuffle是连接Map和Reduce之间的桥梁,Map的输出要被使用到Reduce中必须经过Shuffle这个环节。由于Shuffle阶段涉及磁盘的读写和网络传输,因此Shuffle的性能高低直接影响到整个程序的性能和吞吐量。在MapReduce过程中,需要各个节点上的同一类数据汇集到某个节点进行计算,把这些分布在不同节点的...原创 2019-10-09 14:14:10 · 676 阅读 · 0 评论