Hadoop 1.* 集群搭建

最新推荐文章于 2023-04-23 09:30:00 发布
最新推荐文章于 2023-04-23 09:30:00 发布
阅读量1.2k 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ljeagle/article/details/8772724
版权

Apache 下Hadoop 版本繁多，最终选择了稳定版本作为学习、研究的切入点。

Hadoop的核心包含了HDFS分布式文件系统和MapReduce计算框架，它们是主要适合大吞吐量、批量计算的情景， 换句话说， 就是不适合作为实时系统。HDFS负责数据的持久存储的， 并且保证数据的完整性。MapReduce提供了简单计算框架，框架负责任务的、分配、执行、以及处理执行过程中出现的异常。

但是，人们选择Hadoop， 并不仅仅因为上述的两点， 更多的， 是因为Hadoop愈加成熟的生态圈， 例如HBase、Hive、Mahout等等。所有这些都是依赖Hadoop的HDFS和MapReduce。那么首先， 让我们从搭建Hadoop开始。

已经发布了Hadoop 2.0的alpha版本，它有许多改进，特别是Hadoop1.*的单点故障的问题， 但是Hadoop2.0实际上是完全重写了Hadoop, 未来将抽时间来单独学习Hadoop2.


本文记录Hadoop的搭建过程， 以备忘，并希望能够对新人有所帮助。

Hadoop的系统组件

一个进行交互着的Hadoop系统，至少包含六个组（进程）：Hadoop Client、JobTracker、TaskTracker、NameNode、DataNode、SecondaryNameNode。其中Client用于和Hadoop集群交互。此外Hadoop还建立JVM之上，主节点通过SSH控制从节点的上的守护进程。



部署Hadoop集群， 一般让DataNode和TaskTracker运行在节点上，这样以便尽可能的达到计算数据的本地化。对于小集群，NameNode、SecondaryNameNode以及JobTracker可以运行在同一个节点上。如果集群够大， 并且条件运行， 最好是将这三者单独运行不同的节点上。


硬件准备

5台机器
  • 操作系统：Red hat 6.2 X86_64
  • 内存：建议每个核2G， 具体大小配置，见mapred-site.xml设置。
  • 机器规划，并且设置hostname为其域名
IP域名备注
192.168.1.100masterNameNode、JobTracker
192.168.1.101secondmasterSecondaryNameNode
192.168.1.102hadoop1DataNode、TaskTracker
192.168.1.103hadoop2DataNode、TaskTracker
192.168.1.104hadoop3DataNode、TaskTracker

  • 为每个机器创建一个共同的用户：hadoop

软件准备

  • 安装Java 1.6 或者以上版本
  • 安装ssh， 运行sshd

安装配置

配置SSH免密码登陆

设置master到所有节点的SSH免密码登陆（包括master本身）。如何设置见SSH免密码登陆。

关闭各个节点的防火墙

安装、配置Hadoop

安装Hadoop

下载安装Hadoop，我使用了Hadoop-1.0.2，解压到你的安装目录。我放在/home/hadoop/hadoop目录下， 以后以$HADOOP_HOME代替。
为了方便以后使用， 我还将HADOOP_HOME export为环境变量。

配置Hadoop

所有配置文件都在$HADOOP_HOME/conf目录下。所有配置除了masters和slaves都有一个默认配置项：*-default.xml。
设置hadoop-evn.sh
这里主要是设置JAVA_HOME， 找到JAVA_HOME， 设置该变量。 
export JAVA_HOME=/opt/jdk1.6.0_27


设置core-site.xml
这里主要设置fs.default.name变量， 值以url形式设置，可以是file:///,hdfs://, ... 
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>


还有其他一些设置，可以参照core-default.xml进行设置。

一般还会把hadoop.tmp.dir设置到指定目录下，该变量目录是放在/tmp目录下的， 一旦机器重启，这里的数据将都丢失。 
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop/datas/tmp</value>
</property>



还有一个是fs.checkpoint.dir 
<property>
<name>fs.checkpoint.dir</name>
<value>/home/hadoop/hadoop/datas/hdfs/namesecondary</value>
</property>


设置hdfs-site.xml
这里主要设置dfs.name.dir、dfs.data.dir、dfs.replication、dfs.block.size 
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hadoop/datas/hdfs/name</value>
</property>

<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hadoop/datas/hdfs/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>2</value>
<!--  default is 3 -->
</property>

<property>
<name>dfs.block.size</name>
<value>315621376</value>
<!--  unit bytes, default is 64M, -->
</property>

设置mapred-site.xml
这里主要设置mapred.job.tracker 
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
<!--  JobTracker RPC address and port. -->
</property>
此外一般还会设置 
<property>
<name>mapred.tasktracker.map.tasks.maximum</name> 
<value>8</value>
<!-- an TaskTracker's last map task slot, default is 2 -->
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>8</value>
<!-- an TaskTracker's last reduce task slot, default is 2 -->
</property>
<property>
<name>mapred.child.java.opts</name>
<value>-Xms1024m -Xmx200m -XX:-UseGCOverheadLimit</value>
</property>

Tips：
mapred.tasktracker.map.tasks.maximum， mapred.tasktracker.reduce.tasks.maximum设置为多少大，需要参考机器内存、mapred.child.java.opts、节点上其他进程占用内存情况以及实际作业耗内存情况。

一般DataNode和TaskTracker运行在同一个节点上。默认情况下，这两进程需要2*1000MB。
上述配置中， -Xmx200m，mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum都是8.
那么至少需要1000*2 + 200*16 = 5200MB的内存

设置masters
这里设置的其实是SecondaryNameNode的节点，一行一个节点 
secondmaster

设置slaves
也是一行一个节点 
hadoop1
hadoop2
hadoop3

安装LZO

LZO是可选的压缩方式，但一般都会安装它。
请参考：

开启机架感知

开启Hadoop集群的机架感知，是可选的，它可以提高Hadoop集群的网络性能，主要针对大集群，跨机架的情形。

在core-site.xml 添加以下属性： 
<property>
<name>topology.script.file.name</name>
<value>/home/hadoop/hadoop-1.0.2/script/RackAware.py</value>
</property>


编写RackAware.py： 
#!/usr/bin/python
#-*-coding:UTF-8 -*-
import sys
rack = {"hadoop.cluster.master":"rack1",
"hadoop.cluster.second_master":"rack1",
"hadoop.cluster.slave1":"rack1",
"hadoop.cluster.slave2":"rack1",
"hadoop.cluster.slave3":"rack1",
"hadoop.cluster.slave4":"rack1",
"hadoop.cluster.slave5":"rack1",
"hadoop.cluster.slave6":"rack1",
"hadoop.cluster.slave7":"rack1",
"hadoop.cluster.slave8":"rack1",
"10.15.82.81":"rack1",
"10.15.82.201":"rack1",
"10.15.82.148":"rack1",
"10.15.82.149":"rack1",
"10.15.82.150":"rack1",
"10.15.82.151":"rack1",
"10.15.82.189":"rack1",
"10.15.82.153":"rack1",
"10.15.82.190":"rack1",
"10.15.82.155":"rack1",
}
if __name__=="__main__":
print "/" + rack.get(sys.argv[1],"rack0")


启动、停止集群

第一次启动集群之前，要先进行NameNode的格式化。
hadoop namenode -format

Tips：
对于完全分布式集群，请不要多次格式化话， 因为二次格式化时，不能同步节点，会因版本不一致而导致集群不能正常启动

启动各个守护进程
start-all.sh

停止集群
stop-all.sh

运行日志

默认情况下， Hadoop系统的运行日志在各个节点的$HADOOP_HOME/log目录下，分别以各个守护进程名字命名，例如：



验证是否部署成功

有多种途径可以验证Hadoop集群是否已经部署成功。通过jps查看进程、通过web接口查看集群状态以及运行一个例子进行测试。

jps查看进程

master节点上：NameNode、JobTracker
secondmaster节点上：SecondaryNameNode
hadoop1~hadoop3节点上：DataNode、TaskTracker

通过web查看

通过http://master:50070 查看NameNode和DataNode
通过http://master:50030 查看JobTracker和TaskTracker  

运行一个例子

在$HADOOP_HOME目录下执行hadoop jar hadoop-examples-1.0.2.jar pi 10 100， 如果部署成功，将会看到


集群增加删除节点

新增节点

  • 修改master中的hosts，添加新增节点的IP，并且将hosts同步到其他节点，包括新增及节点。
  • 拷贝hadoop1~hadoop2某个节点的配置到新增节点，修改$HADOOP_HOME/conf/slaves，添加新增节点的域名或者IP
  • 在新增节点上开启守护进程DataNode和TaskTracker：
    hadoop-daemon.sh start datanode
    hadoop-daemon.sh start tasktracker
  • 执行均衡，start-balancer.sh

删除节点

  • 修改集群配置，如果conf/hdfs-site.xml中没有配置dfs.hosts.exclude，则添加以下配置：
    <property>
<name>dfs.hosts.exclude</name>
<value>/data/soft/hadoop/conf/excludes</value>
</property>

  • 在dfs.hosts.exclude指定的文件中指定要下架的机器，一行一个， 如：
    hadoop1
    hadoop3
  • 强制集群重新加载配置：
    hadoop dfsadmin -refreshNodes
  • 等上述过程结束时，就可以安全关闭要下架的机器了，通过report可以查看状态。
    hadoop dfsadmin -report
    如果已经完成，将显示
    Decommission Status : Decommissioned
    否则显示
    Decommission Status : Decommission in progress


参考

《Hadoop权威指南》
jerry_lin3000
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop的集群搭建
码放南山
11-04 192
目录 一、虚拟机环境准备 二、安装jdk 三、安装Hadoop 四、集群配置（重点） 1.集群部署规划 2.配置集群 3.配置集群中从节点信息（datanode） 4.分发文件 五、集群启动 常用集群启动停止方式 SSH无密登录配置 检验： 一、虚拟机环境准备 1、克隆三台虚拟机 2、修改主机名 /etc/sysconfig/network...
Hadoop集群搭建
leanaoo的博客
10-17 1015
上次说了Hadoop集群单机版的搭建,这次来依照单机版的基础搭建一个简单的集群版 规划 这次搭建的是一个主机和两个从机,也就是只有两个node节点,也可以让主机上有node节点,之后会说 主机名 cluster规划 master namenode,secondarynamenode,ResourceManager slave1 Datanode, NodeManager s...
大数据：Hadoop3.x集群搭建
梁辰兴的博客
11-06 1024
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；
hadoop3.*集群搭建，小白必看
信徒博客
02-21 930
hadoop集群搭建最全教程
Hadoop2.x集群搭建（centos7、VMware、finalshell）
githubcurry
04-23 2027
我们需要通过配置若干配置文件，来实现Hadoop集群的配置信息（这里Hadoop2.x和3.x配置信息略有不同，本文主要以2.x为主）。需要配置的文件有:在Hadoop安装完成后，会在$HADOOP_HOME/share路径下，有若干个*-default.xml文件，这些文件中记录了默认的配置信息。同时，在代码中，我们也可以设置Hadoop的配置信息。
hadoop2.x集群搭建(1.0).txt
07-03
hadoop集群搭建过程
手把手教你在腾讯云上搭建hadoop3.x伪集群的方法
09-14
- 使用Hadoop命令行工具如`hadoop fs -ls`或`hadoop dfsadmin -report`来检查Hadoop集群的状态。 8. **测试Hadoop集群** - 创建一个测试文件，将其上传到HDFS，然后使用`hadoop fs -cat`命令读取该文件，以验证...
Hadoop2.X集群安装与配置
07-24
八、测试Hadoop集群 通过`hadoop fs -ls /`命令检查HDFS是否正常运行。还可以创建一个测试文件并进行读写操作，以验证MapReduce功能。 九、监控与维护 利用Hadoop自带的Web界面监控集群状态，包括NameNode、...
hadoop2.集群的搭建
11-25
hadoop2.集群的搭建： 1.准备Linux环境 2.安装JDK 3.安装hadoop2.7.4
Hadoop集群搭建共10页.pdf.zip
10-29
【标题】：“Hadoop集群搭建共10页.pdf” 【描述】：该压缩包文件包含了一份详细的关于Hadoop集群搭建的教程，总计10页，可能是PDF格式的文档，提供了从基础到进阶的Hadoop集群配置和管理指导。 【标签】：...
使用 React 和 Redux 进行井字游戏并附带源代码.zip
07-24
项目：使用 React 和 Redux 进行井字游戏并附带源代码 使用 react 和 redux 的井字游戏是一个简单的 react 项目。整个项目都是使用 react components 和redux制作的。游戏很简单，玩法也很多。要运行此项目，您必须先安装 NodeJS。 关于项目 井字游戏反应而 redux 是使用ReactJS开发的。说到这个游戏，它具有高级功能和游戏玩法。要运行此项目，首先，您必须安装费用到您的系统。然后运行npm安装然后开始运行npm开始。游戏启动后，您可以选择不同的游戏选项。您还可以选择所需的网格框数量。此外，您还可以选择对手的类型。 要运行此项目，您需要 在计算机上安装NodeJS 并使用现代浏览器，例如 Google Chrome、  Mozilla Firefox。 演示： 该项目为国外大神项目，可以作为毕业设计的项目，也可以作为大作业项目，不用担心代码重复，设计重复等，如果需要对项目进行修改，需要具备一定基础知识。 注意：如果装有360等杀毒软件，可能会出现误报的情况，源码本身并无病毒，使用源码时可以关闭360，或者添加信任。
使用 JavaScript 编写的专注力游戏（附源代码）.zip
07-24
项目：JavaScript 中的专注力游戏（附源代码） 专注力游戏是一个使用 JavaScript、CSS 和 HTML 开发的简单项目。这款游戏很有趣。玩家必须点击移动的框并获得分数。要点击正确的位置，玩家需要在这个游戏中集中注意力。这款游戏可以帮助玩家练习以进一步增强他们的专注力。 游戏制作 这个游戏项目仅使用 HTML、CSS 和 JavaScript。说到这个游戏的特点，用户必须单击移动框并得分。游戏有三种模式：简单、中等和困难。游戏的 PC 控制非常简单。您只需使用光标单击移动框的碎片即可。 该游戏包含大量的 javascript 以确保游戏正常运行。 如何运行该项目？ 要运行此游戏，您不需要任何类型的本地服务器，但需要浏览器。我们建议您使用现代浏览器，如 Google Chrome 和 Mozilla Firefox。要玩游戏，首先，单击 index.html 文件在浏览器中打开游戏。 演示： 该项目为国外大神项目，可以作为毕业设计的项目，也可以作为大作业项目，不用担心代码重复，设计重复等，如果需要对项目进行修改，需要具备一定基础知识。 注意：如果装有360等杀毒软件，可能会出现误报的情况，源码本身并无病毒，使用源码时可以关闭360，或者添加信任。
人脸识别方案资料61EDA-C1590.zip
07-24
人脸识别方案资料61EDA_C1590.zip
316、基于DK124设计的离线式开关电源设计12V 2A（原理图、PCB图、BOM表、设计说明）
07-24
316、基于DK124设计的离线式开关电源设计12V 2A（原理图、PCB图、BOM表、设计说明） 该设计为DK124控制的开关电源，实现12V 2A输出； 功能： 1、使用DK124核心控制； 2、反激式开关电源拓扑设计； 3、实现12V 2A输出； 4、市电输入； 5、整流、滤波、变压器等电路； 6、原理图、PCB图、BOM表、设计说明；
基于Springboot和Vue的生鲜超市管理的设计与实现源码 生鲜超市管理的设计与实现代码（优秀毕业设计）
07-24
生鲜超市管理的设计与实现源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！
使用 ReactJs 编写的简单旅行计划器（附源代码）.zip
07-24
项目：使用 ReactJS 编写的简单旅行计划器（附源代码） ReactJs 中的简单旅行计划器是一个简单的 JavaScript 项目。该项目是 ReactJS 中待办应用程序的一个简单示例。 关于项目 Simple Trip Planner In Reactjs 是使用ReactJS开发的。这个项目很容易做一种应用程序。这个项目使用 React 库来完成任务。为了运行这个项目，你必须在系统中安装 NodeJs。当你运行这个项目时，你的应用程序从主页开始。从那里你可以导航到菜单。你只能将计划添加到你的书中。你还可以对旅行进行分类。你所要做的就是输入日期和地点，然后选择你想要的旅行计划类型。 要运行此项目，您需要 在计算机上安装ReactJS和 NodeJs，并使用现代浏览器，例如Google Chrome、  Mozilla Firefox。 演示： 该项目为国外大神项目，可以作为毕业设计的项目，也可以作为大作业项目，不用担心代码重复，设计重复等，如果需要对项目进行修改，需要具备一定基础知识。 注意：如果装有360等杀毒软件，可能会出现误报的情况，源码本身并无病毒，使用源码时可以关闭360，或者添加信任。
俄罗斯方块的python代码
07-24
这段Python代码实现了一个简单的俄罗斯方块游戏，使用Pygame库处理图形和用户输入。游戏初始化Pygame库并设置屏幕大小为800x600像素，定义不同颜色和形状的方块。游戏由一个`Tetris`类管理，负责游戏状态和逻辑操作，每个方块由一个`Block`类表示，包含其形状、颜色、位置等信息。 在主循环中，游戏通过事件处理机制响应用户的键盘输入，箭头键用于移动和旋转方块，空格键用于快速下落。游戏会检测方块是否与已有的方块或边界发生碰撞，如发生碰撞，当前方块会固定在场地上并生成新方块。填满的行会被清除，玩家获得相应分数。 游戏通过一个二维数组维护场地状态，每个元素表示一个单元格是否被占据，通过检查和清除单元格实现行消除。整个游戏不断刷新屏幕更新显示，确保流畅运行，绘制背景、方块和边框，使界面美观易理解。 总体而言，这段代码展示了如何使用Pygame库实现经典俄罗斯方块游戏，包括图形绘制、用户输入处理和基本游戏逻辑，让玩家通过移动和旋转方块消除行并获得高分。
绿色金融：“双碳”经济时代，银行业务增长新引擎-埃森哲(
07-24
绿色金融：“双碳”经济时代，银行业务增长新引擎-埃森哲(
基于Springboot和Vue的结合疫情情况的婚恋系统源码 结合疫情情况的婚恋系统代码（高分毕设）
最新发布
07-24
结合疫情情况的婚恋系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！
Hadoop CDH伪分布集群搭建实战教程
本文档是一份详尽的Hadoop CDH版本伪分布式集群搭建教程，针对初学者设计，旨在帮助读者快速掌握大数据技术的基础环境构建。以下是主要知识点的详细说明： 1. **所需软件和资源**：教程开始首先提到，参与者需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值