![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
潇山远
这个作者很懒,什么都没留下…
展开
-
Hadoop伪分布式部署之linux环境准备
前言 在正式部署hadoop之前,我们需要先对linux系统的网络和java做一些准备工作,确保能够顺利部署和使用hadoop。今天我们就以centOS6.4为例做一个环境配置。 1、主机名及映射配置 考虑到后面要搭建集群,节点之间的访问最好使用主机名访问,所以现在需要设置一下每个节点的主机名和映射。我们先以一台机器的配置为例,以后我们会讲到多台机器时该如何配置。 IP设置 查看...原创 2018-04-06 17:42:49 · 356 阅读 · 0 评论 -
Hadoop伪分布式部署之历史服务与日志聚集
前言 在做完 Hadoop伪分布式部署之hdfs和Hadoop伪分布式部署之yarn和mapreduce之后,我们来做一下历史服务和日志聚集的部署。 相关环境如下: 操作系统:CentOS6.4 Java版本:Oracle jdk1.7 Hadoop版本:Hadoop2.5.0 主机hostname:hadoop01.datacenter.com hadoop目录:/opt...原创 2018-04-12 16:02:09 · 465 阅读 · 0 评论 -
Hadoop伪分布式部署之ssh免密钥登陆
前言 在之前的章节中,我们有介绍到伪分布式的hdfs、yarn和mapreduce、历史服务与日志聚集、SecondaryNameNode的部署。接下来我们一起探讨下hadoop的ssh免密钥登陆。 我们的hadoop环境如下 操作系统:CentOS6.4 Java版本:Oracle jdk1.7 Hadoop版本:Hadoop2.5.0 主机hostname:hadoop01....原创 2018-04-15 21:29:23 · 2723 阅读 · 1 评论 -
【读书笔记】MapReduce之数据本地化
读书时遇到喜欢的内容,记下笔记,以加深自己的印象,将来亦可以回味。 以下内容摘自Tom White的《Hadoop权威指南》。 数据本地化特性是MapReduce的核心特征,并因此而获得良好的性能。 意识到网络带宽是数据中心环境最珍贵的资源(到处复制很容易耗尽网络带宽)之后,MapReduce通过显式网络拓扑结构保留网络带宽。 Ps:关于什么是显式网络拓扑结构博主现在也不懂,更不明...原创 2018-04-15 16:28:25 · 840 阅读 · 1 评论 -
Hadoop之namenode启动过程分析
前言(30秒等待) namenode的启动过程中,主要做了两件事情: 1、加载fsimage元数据和edits日志文件 更加详细的介绍可以参考我之前的博文Hadoop伪分布式部署之SecondaryNameNode。 2、等待datanode的注册信号和块状态信息报告 namenode启动的过程中,会有30秒的等待时间,等待datanode的注册信号和块状态信息报告。 在这30...原创 2018-04-14 20:52:27 · 1005 阅读 · 1 评论 -
Hadoop伪分布式部署之SecondaryNameNode
前言 在之前的章节中,我们有介绍到伪分布式的hdfs、yarn和mapreduce、历史服务与日志聚集的部署。接下来我们一起探讨下hadoop的SecondaryNameNode,内容可能较为粗糙,待博主以后水平提升后再来深入细化。 我们的hadoop环境如下 操作系统:CentOS6.4 Java版本:Oracle jdk1.7 Hadoop版本:Hadoop2.5.0 主机h...原创 2018-04-14 16:19:01 · 2154 阅读 · 0 评论 -
Hadoop伪分布式部署之yarn和mapreduce
前言 mapreduce是hadoop的分布式计算框架,它依赖于hadoop的分布式文件系统hdfs,关于hdfs的部署大家可以参考Hadoop伪分布式部署之hdfs。 mapreduce作为计算引擎,需要依赖于hadoop的分布式资源管理框架yarn,今天我们就来介绍一下yarn和mapreduce的伪分布式部署,相关环境如下: 操作系统:CentOS6.4 Java版本:Oracle...原创 2018-04-07 22:34:44 · 699 阅读 · 0 评论 -
Hadoop伪分布式部署之hdfs
前言 上一节我们介绍了用于部署Hadoop的Linux环境准备,感兴趣的同学可以去看一下Hadoop伪分布式部署之linux环境准备。 这一节我们主要讲伪分布式部署hdfs,相关环境如下 操作系统:CentOS6.4 Java版本:Oracle jdk1.7 Hadoop版本:Hadoop2.5.0 主机hostname:hadoop01.datacenter.com Hadoop的...原创 2018-04-06 17:44:33 · 1716 阅读 · 0 评论