- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hadoop伪分布式部署之ssh免密钥登陆
前言在之前的章节中，我们有介绍到伪分布式的hdfs、yarn和mapreduce、历史服务与日志聚集、SecondaryNameNode的部署。接下来我们一起探讨下hadoop的ssh免密钥登陆。我们的hadoop环境如下 操作系统：CentOS6.4 Java版本：Oracle jdk1.7 Hadoop版本：Hadoop2.5.0 主机hostname：hadoop01....
2018-04-15 21:29:23
2748
1
原创 【读书笔记】MapReduce之数据本地化
读书时遇到喜欢的内容，记下笔记，以加深自己的印象，将来亦可以回味。 以下内容摘自Tom White的《Hadoop权威指南》。数据本地化特性是MapReduce的核心特征，并因此而获得良好的性能。 意识到网络带宽是数据中心环境最珍贵的资源（到处复制很容易耗尽网络带宽）之后，MapReduce通过显式网络拓扑结构保留网络带宽。Ps：关于什么是显式网络拓扑结构博主现在也不懂，更不明...
2018-04-15 16:28:25
852
1
原创 Hadoop之namenode启动过程分析
前言（30秒等待）namenode的启动过程中，主要做了两件事情：1、加载fsimage元数据和edits日志文件更加详细的介绍可以参考我之前的博文Hadoop伪分布式部署之SecondaryNameNode。2、等待datanode的注册信号和块状态信息报告namenode启动的过程中，会有30秒的等待时间，等待datanode的注册信号和块状态信息报告。 在这30...
2018-04-14 20:52:27
1020
1
原创 Hadoop伪分布式部署之SecondaryNameNode
前言在之前的章节中，我们有介绍到伪分布式的hdfs、yarn和mapreduce、历史服务与日志聚集的部署。接下来我们一起探讨下hadoop的SecondaryNameNode，内容可能较为粗糙，待博主以后水平提升后再来深入细化。我们的hadoop环境如下 操作系统：CentOS6.4 Java版本：Oracle jdk1.7 Hadoop版本：Hadoop2.5.0 主机h...
2018-04-14 16:19:01
2190
原创 Hadoop伪分布式部署之历史服务与日志聚集
前言在做完 Hadoop伪分布式部署之hdfs和Hadoop伪分布式部署之yarn和mapreduce之后，我们来做一下历史服务和日志聚集的部署。 相关环境如下： 操作系统：CentOS6.4 Java版本：Oracle jdk1.7 Hadoop版本：Hadoop2.5.0 主机hostname：hadoop01.datacenter.com hadoop目录：/opt...
2018-04-12 16:02:09
479
原创 Hadoop伪分布式部署之yarn和mapreduce
前言mapreduce是hadoop的分布式计算框架，它依赖于hadoop的分布式文件系统hdfs，关于hdfs的部署大家可以参考Hadoop伪分布式部署之hdfs。 mapreduce作为计算引擎，需要依赖于hadoop的分布式资源管理框架yarn，今天我们就来介绍一下yarn和mapreduce的伪分布式部署，相关环境如下： 操作系统：CentOS6.4 Java版本：Oracle...
2018-04-07 22:34:44
708
原创 Hadoop伪分布式部署之hdfs
前言上一节我们介绍了用于部署Hadoop的Linux环境准备，感兴趣的同学可以去看一下Hadoop伪分布式部署之linux环境准备。 这一节我们主要讲伪分布式部署hdfs，相关环境如下 操作系统：CentOS6.4 Java版本：Oracle jdk1.7 Hadoop版本：Hadoop2.5.0 主机hostname：hadoop01.datacenter.comHadoop的...
2018-04-06 17:44:33
1731
原创 Hadoop伪分布式部署之linux环境准备
前言在正式部署hadoop之前，我们需要先对linux系统的网络和java做一些准备工作，确保能够顺利部署和使用hadoop。今天我们就以centOS6.4为例做一个环境配置。1、主机名及映射配置考虑到后面要搭建集群，节点之间的访问最好使用主机名访问，所以现在需要设置一下每个节点的主机名和映射。我们先以一台机器的配置为例，以后我们会讲到多台机器时该如何配置。IP设置查看...
2018-04-06 17:42:49
369
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人