hadoop2.2.0集群测试搭建(伪分布式集群测试)

最新推荐文章于 2024-07-23 12:00:20 发布
最新推荐文章于 2024-07-23 12:00:20 发布
阅读量487 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。

注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，
所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译
（建议第一次安装用32位的系统，我将编译好的64位的也上传到群共享里了，如果有兴趣的可以自己编译一下）

前期准备就不详细说了，课堂上都介绍了
1.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系
4.关闭防火墙
5.ssh免登陆
6.安装JDK，配置环境变量等

集群规划：
主机名 IP 安装的软件 运行的进程
hadoop01 192.168.1.201 hadoop、zookeeper NameNode、DataNode、QuorumPeerMain、JournalNode、DFSZKFailoverController、ResourceManager、NodeManager
hadoop02 192.168.1.202 hadoop、zookeeper NameNode、DataNode、QuorumPeerMain、JournalNode、DFSZKFailoverController、NodeManager
hadoop03 192.168.1.203 hadoop、zookeeper DataNode、QuorumPeerMain、JournalNode、NodeManager

说明：
在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态
安装步骤：
1.安装配置zooekeeper集群
1.1解压
tar -zxvf zookeeper-3.4.5.tar.gz -C /itcast/
1.2修改配置
cd /itcast/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改：dataDir=/itcast/zookeeper-3.4.5/tmp
在最后添加：
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888
保存退出
然后创建一个tmp文件夹
mkdir /itcast/zookeeper-3.4.5/tmp
再创建一个空文件
touch /itcast/zookeeper-3.4.5/tmp/myid
最后向该文件写入ID
echo 1 > /itcast/zookeeper-3.4.5/tmp/myid
1.3将配置好的zookeeper拷贝到其他节点(首先分别在hadoop02、hadoop03根目录下创建一个itcast目录：mkdir /itcast)
scp -r /itcast/zookeeper-3.4.5/ hadoop02:/itcast/
scp -r /itcast/zookeeper-3.4.5/ hadoop03:/itcast/
注意：修改hadoop02、hadoop03对应/itcast/zookeeper-3.4.5/tmp/myid内容
hadoop02：
echo 2 > /itcast/zookeeper-3.4.5/tmp/myid
hadoop02：
echo 3 > /itcast/zookeeper-3.4.5/tmp/myid
1.4配置环境变量




2.安装配置hadoop集群
2.1解压
tar -zxvf hadoop-2.2.0.tar.gz -C /itcast/
2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
将hadoop添加到环境变量中
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.6.0_45
export HADOOP_HOME=/itcast/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
cd /itcast/hadoop-2.2.0/etc/hadoop
2.2.1修改hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.6.0_45
2.2.2修改core-site.xml
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/itcast/hadoop-2.2.0/tmp</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
</configuration>
2.2.3修改hdfs-site.xml
<configuration>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>hadoop01:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>hadoop01:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>hadoop02:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>hadoop02:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/itcast/hadoop-2.2.0/journal</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
</configuration>
2.2.4修改slaves
hadoop01
hadoop02
hadoop03
2.3配置YARN
2.3.1修改yarn-site.xml
<configuration>
<!-- 指定resourcemanager地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<!-- 指定nodemanager启动时加载server的方式为shuffle server -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
2.3.2修改mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
2.4将配置好的hadoop拷贝到其他节点
scp -r /itcast/hadoop-2.2.0/ hadoo02:/itcast/
scp -r /itcast/hadoop-2.2.0/ hadoo03:/itcast/
2.5启动zookeeper集群（分别在hadoop01、hadoop02、hadoop03上启动zk）
cd /itcast/zookeeper-3.4.5/bin/
./zkServer.sh start
查看状态：
./zkServer.sh status
（一个leader，两个follower）
2.6启动journalnode（在hadoop01上启动所有journalnode）
cd /itcast/hadoop-2.2.0
sbin/hadoop-daemons.sh start journalnode
(运行jps命令检验，多了JournalNode进程)
2.7格式化HDFS
在hadoop01上执行命令:
hadoop namenode -format
格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/itcast/hadoop-2.2.0/tmp，然后将/itcast/hadoop-2.2.0/tmp拷贝到hadoop02的/itcast/hadoop-2.2.0/下。
scp -r tmp/ hadoop02:/itcast/hadoop-2.2.0/
2.8格式化ZK(在hadoop01上..hadoop/目录操作,执行即可)
hdfs zkfc -formatZK
2.9启动HDFS(在hadoop01..hadoop/目录操作,执行)
sbin/start-dfs.sh     (sbin/stop-dfs.sh)

  2.10启动YARN(在hadoop01上..hadoop/目录操作,执行)
sbin/start-yarn.sh    (sbin/stop-yarn.sh)

到此，hadoop2.2.0配置完毕，可以统计浏览器访问:
http://192.168.1.201:50070
NameNode 'hadoop01:9000' (active)
http://192.168.1.202:50070
NameNode 'hadoop02:9000' (standby)
验证HDFS HA
首先向hdfs上传一个文件
hadoop fs -put /etc/profile /profile
hadoop fs -ls /
然后再kill掉active的NameNode
kill -9 <pid of NN>
通过浏览器访问：http://192.168.1.202:50070
NameNode 'hadoop02:9000' (active)
这个时候hadoop02上的NameNode变成了active
在执行命令：
hadoop fs -ls /
-rw-r--r--   3 root supergroup       1926 2014-02-06 15:36 /profile
刚才上传的文件依然存在！！！
在hadoop01目录下,手动启动那个挂掉的NameNode
sbin/hadoop-daemon.sh start namenode
通过浏览器访问：http://192.168.1.201:50070
NameNode 'hadoop01:9000' (standby)
验证YARN：
运行一下hadoop提供的demo中的WordCount程序：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /profile /out
OK，大功告成！！！
========================版权:小青蛙============================
kgblily205
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop 2.x.0集群安装与配置
Yeaheer
02-18 995
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。 注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译 （建议第一次安装用32位的系统） 安装前的准备： 1).安装PieTTY远
hadoop2.0测试环境安装
weixin_30877493的博客
08-15 70
0. Hadoop源码包下载 http://mirror.bit.edu.cn/apache/hadoop/common 1. 集群环境 Master 172.16.11.97 Slave1 172.16.11.98 Slave2 172.16.11.99 2. 下载安装包 #Master wget http://mirror.bit.edu.cn/apache/had...
Hadoop2.2.0集群搭建
robbinBlog
06-04 627
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。 注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译 （建议第一次安装用32位的系统，我将编译好的64位的也上传到群共享里了，如果有兴趣的可以
hadoop环境配置过程中可能遇到问题的解决方案
热门推荐
姚光超的专栏
07-24 5万+
Failed to set setXIncludeAware(true) for parser 遇到此问题一般是jar包冲突的问题。一种情况是我们向java的lib目录添加我们自己的jar包导致hadoop引用jar包的冲突。解决方案就是删除我们自己向系统添加的jar包，重新配置。将自己的jar包或者外部jar放入系统目录会在编译程序时带来方便，但是这不是一种好习惯，我们应该通过修改CLAS
大数据内容分享(九)：Hadoop-生产集群搭建（完全分布式）
之乎者也·的博客
01-04 1420
hadoop中HDFS要存储数据，这些数据存储的目录地址，默认值为：/tmp/hadoop-${user.name}，如下图2所示为默认值，在本环境 Linux系统里面是指：/tmp/hadoop-zola，但是 /tmp 目录是1个临时目录，一般Linux系统1个月清理一次。集群完成配置后，在启动集群之前，还需要 配置workers节点 ，集群中有几个节点， /opt/module/hadoop-3.1.3/etc/hadoop/workers配置文件里面对应的就配置几个主机名称。
基于伪分布式Hadoop集群搭建伪分布式HBASE集群
qq_44843672的博客
03-01 366
本文目的在于基于伪分布式Hadoop集群搭建伪分布式HBASE集群，搭建伪分布式Hadoop集群环境教程为[基于百度智能云服务器搭建伪分布式Hadoop集群](https://blog.csdn.net/qq_44843672/article/details/114227663)
hadoop2.2.0伪分布式搭建
站在网络的肩膀上,自学成才
02-03 456
1.准备Linux环境      1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.68.0 子网掩码：255.255.255.0 -> apply -> ok           回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键
hadoop2.2.0上spark伪分布式安装
在路上的学习者
11-12 4934
从官网上下下载合适的版本：
Hadoop2.2.0伪分布式搭建简述
雨钓的专栏
05-25 8443
使用Vmware10+Hadoop2.2.0+redHat6.3在单节点上搭建Hadoop伪分布式，流程简述。
Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程
11-18
Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程 按照文档中的操作步骤，一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
hadoop的2.2.0完全分布式集群配置.pdf
01-08
hadoop的2.2.0完全分布式集群配置.pdf
Centos 6.4下搭建Hadoop 2.2.0完全分布式集群
07-29
本文档堪称最齐全的Hadoop-2.2.0搭建手册，不管是对于生手，还是对于想自己动手搭建的生手来说，都是非常有用的；因为自己是生手，看网上好多步骤，但还是有不懂的地方，所以自己整理下来了齐全的生手版，希望对一切...
CentOS6.5x64下安装19实体节点Hadoop2.2.0集群配置指南
07-23
资源名称：CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介： CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南主要讲述的是CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南;...
hadoop伪分布式搭建(超级详细)
10-11
我们将基于提供的hadoop-2.2.0版本进行操作，并参考名为“hadoop2.2.0伪分布式搭建.txt”的指南文件。 首先，我们需要安装Java开发工具包（JDK），因为Hadoop是用Java编写的，依赖于JDK运行。确保你的系统已经安装...
Hadoop架构
henanchenxuyuan的博客
07-23 974
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，是需要新的处理模式才能具备更强的决策能力、洞察发现能力和流程优化能力的海量、高增长率和多样化的信息资产数据。简而言之，就是数据量非常大，大到无法用常规工具处理，如关系型数据库、数据仓库等。这里的“大”又是一个什么量级呢?如阿里巴巴每天所处理的交易数据达到 20PB(即 20971520GB)。传统数据处理技术为何不能胜任?
Hadoop-HDFS
weixin_42029860的博客
07-22 360
Hadoop的HDFS（Hadoop Distributed File System）是一个分布式文件系统，它被设计用来在普通的硬件上运行，并且提供高吞吐量访问应用程序数据的能力。
Hadoop、HDFS、MapReduce 大数据解决方案
简简单单Onlinezuozuo
07-22 584
Hadoop、HDFS、MapReduce 大数据解决方案Hadoop、HDFS、MapReduce 大数据解决方案Hadoop、HDFS、MapReduce 大数据解决方案。
开题报告达达宠物认领信息网站的设计与实现 已通过开题答辩的.docx
最新发布
07-25
宠物认领信息网站的主要目的是为寻找宠物的失主和寻找新家的宠物提供一个在线的信息交流平台。通过这个平台，失主可以发布失宠信息，寻找走失或遗弃的宠物；而救助人或组织则可以发布待领养的宠物信息，为那些无家可归的宠物寻找一个永久的归宿。 这样的网站通常会提供一个详细的宠物数据库，包括照片、品种、年龄、健康状况等信息，以便让失主能够方便地找到自己的宠物。同时，网站还会提供一些相关的服务，如失主与救助人之间的在线交流、宠物匹配推荐、领养手续办理等，以帮助双方顺利完成宠物的认领和领养过程。 宠物认领信息网站的目的在于提高失宠找到宠物的几率，减少流浪宠物的数量，并为那些无家可归的宠物提供一个温馨的新家。同时，网站还能促进社会对流浪宠物的关注和保护，提高人们的动物保护意识。
Hadoop2.2.0完全分布式集群详细搭建指南
通过这些步骤，一个完整的Hadoop2分布式集群就搭建完成了。这个过程需要对Hadoop的架构和工作原理有深入理解，同时注意在配置过程中避免常见的错误，如端口冲突、权限问题等。正确搭建和配置的集群能够提供稳定的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值