Linux 7 Hadoop2.6.0单机和集群搭建

最新推荐文章于 2021-12-12 20:42:50 发布
最新推荐文章于 2021-12-12 20:42:50 发布
阅读量183 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43578218/article/details/104973101
版权

搭建Hadoop前的准备工作

/etc/hosts这个文件是记载LAN内接续的各主机的对应[HostName和IP]用的。
在LAN内，我们各个主机间访问通信的时候，用的是内网的IP地址进行访问（例：192.168.1.22，192.168.1.23），从而确立连接进行通信。
除了通过访问IP来确立通信访问之外，我们还可以通过HostName进行访问，我们在安装机器的时候都会给机器起一个名字，这个名字就是这台机器的HostName
	假如HostA的 hostname是centos1，HostB的hostname是centos2那我们怎么能不但通过IP确立连接，通过这个IP对应的HostName进行连接访问呢？解决的办法就是这个/etc/hosts这个文件，通过把LAN内的各主机的IP地址和HostName的一一对应写入这个文件的时候，就可以解决问题。

配置主机名和IP映射关系 ，最下面一行是增加的

[root@CentOS ~]# vi /etc/hosts 
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 
# IP是你当前机器的IP，相当于给你当前的机器起了一个别名
`IP CentOS`

在分布式系统中很多服务都是以主机名标示节点,因此配置IP和主机名的映射关系.用户可以查看以下文件

这个/etc/sysconfig/network文件是定义hostname和是否利用网络的不接触网络设备的对系统全体定义的文件。

设定形式：设定值=值
设定项目如下：
	NETWORKING 是否利用网络                                     
	GATEWAY 默认网关
	IPGATEWAYDEV 默认网关的接口名
	HOSTNAME 主机名
	DOMAIN 域名

[root@CentOS ~]# cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=CentOS

关闭并禁用防火墙

分布式服务之间可能会产生相互的调度，为了保证正常的通信，一般需要关闭防火墙。

[root@CentOS ~]# systemctl stop firewalld.service
[root@CentOS ~]# systemctl status firewalld.service
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; enabled; vendor preset: enabled)
   Active: inactive (dead) since Wed 2020-03-18 22:26:51 EDT; 2min 52s ago
     Docs: man:firewalld(1)
  Process: 11429 ExecStart=/usr/sbin/firewalld --nofork --nopid $FIREWALLD_ARGS (code=exited, status=0/SUCCESS)
 Main PID: 11429 (code=exited, status=0/SUCCESS)

Mar 18 22:21:16 CentOSC systemd[1]: Starting firewalld - dynamic firewal....
Mar 18 22:21:41 CentOSC systemd[1]: Started firewalld - dynamic firewall....
Mar 18 22:26:50 CentOSC systemd[1]: Stopping firewalld - dynamic firewal....
Mar 18 22:26:51 CentOSC systemd[1]: Stopped firewalld - dynamic firewall....
Hint: Some lines were ellipsized, use -l to show in full.
[root@CentOS ~]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

配置主机SSH免密码认证(密匙)

[root@CentOS ~]# ssh-keygen -t rsa
[root@CentOS ~]# ssh-copy-id IP

Hadoop单机搭建

[root@CentOS ~]# tar -zxf hadoop-2.6.0_x64.tar.gz -C /usr/
[root@CentOS ~]# vi /root/.bashrc # 添加以下各项
HADOOP_HOME=/usr/hadoop-2.6.0
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_HOME
[root@CentOS ~]# source /root/.bashrc
[root@CentOS ~]# echo $HADOOP_HOME 
/usr/hadoop-2.6.0

配置Hadoop

编辑 /usr/hadoop-2.6.0/etc/hadoop/core-site.xml 加入以下配置

<!-- IP需要更改成你当前机器的IP地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://IP:9000</value>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/hadoop-2.6.0/hadoop-${user.name}</value>
</property>

<!-- 开启回收站 -->
<property>
    <name>fs.trash.interval</name>
    <value>1</value>
</property>

/usr/hadoop-2.6.0/etc/hadoop/hdfs-site.xml 加入以下配置

<property>
    <name>dfs.replication</name>
    <value>1</value> 
</property>

/usr/hadoop-2.6.0/etc/hadoop/slaves 改为以下配置

当前机器IP

启动HDFS

# 格式化HDFS
[root@CentOS ~]# hdfs namenode -format
# 出现以下日志表示成功
"""
19/01/02 20:19:37 INFO common.Storage: Storage directory /usr/hadoop-2.6.0/hadoop- root/dfs/name has been successfully formatted. 
"""
[root@CentOS hadoop]# tree /usr/hadoop-2.6.0/hadoop-root/
/usr/hadoop-2.6.0/hadoop-root/
└── dfs
    └── name
        └── current
            ├── fsimage_0000000000000000000
            ├── fsimage_0000000000000000000.md5
            ├── seen_txid
            └── VERSION

3 directories, 4 files
# 启动HDFS
[root@CentOS hadoop]# start-dfs.sh
# 出现以下日志表示成功
"""
Starting namenodes on [CentOS]
CentOS: starting namenode, logging to /usr/hadoop-2.6.0/logs/hadoop-root-namenode-CentOS.out
CentOS: starting datanode, logging to /usr/hadoop-2.6.0/logs/hadoop-root-datanode-CentOS.out
Starting secondary namenodes [0.0.0.0]
The authenticity of host '0.0.0.0 (0.0.0.0)' can't be established.
ECDSA key fingerprint is SHA256:ptOfP+xxYMRrBJLeNsNwUZIJ94bTeGiRqTbLjCfwMyo.
ECDSA key fingerprint is MD5:28:6e:4e:68:dd:c1:95:38:bc:76:cf:30:ef:30:0f:d2.
Are you sure you want to continue connecting (yes/no)? yes
0.0.0.0: Warning: Permanently added '0.0.0.0' (ECDSA) to the list of known hosts.
0.0.0.0: starting secondarynamenode, logging to /usr/hadoop-2.6.0/logs/hadoop-root-secondarynamenode-CentOS.out

"""
# 停止HDFS
[root@CentOS ~]# stop-dfs.sh

访问浏览器:http://IP:50070

# 测试下放个文件
[root@CentOS ~]# hdfs dfs -put /root/jdk-8u171-linux-x64.rpm /
[root@CentOS ~]# hdfs dfs -ls /
Found 1 items
-rw-r--r--   1 root supergroup  175262413 2020-03-19 03:54 /jdk-8u171-linux-x64.rpm

搭建yarn环境

编辑 /usr/hadoop-2.6.0/etc/hadoop/yarn-site.xml 加入以下配置

<property> 
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!--Resource Manager--> 
<property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value>IP</value>
</property>

/usr/hadoop-2.6.0/etc/hadoop/mapred-site.xml

<!-- 先将 /usr/hadoop-2.6.0/etc/hadoop/mapred-site.xml.template 改名成 mapred-site.xml -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

启动yarn

[root@CentOS ~]# start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /usr/hadoop-2.6.0/logs/yarn-root-resourcemanager-CentOS.out
CentOS: starting nodemanager, logging to /usr/hadoop-2.6.0/logs/yarn-root-nodemanager-CentOS.out
[root@CentOS ~]# jps
32160 NodeManager
27906 NameNode
32072 ResourceManager
27995 DataNode
28188 SecondaryNameNode
32477 Jps

访问:http://IP:8088/

HDFS高可用&YARN高可用集群

CentOSACentOSBCentOSC
zookeeperzookeeperzookeeper
zkfczkfc
nn1nn2
journalnodejournalnodejournalnode
datenodedatanodedatanode
rm1rm2
nodemanagernodemanagernodemanager
# 时钟同步
[root@CentOSX ~]# date -s '2020-03-19 16:38:15'
Thu Mar 19 16:38:15 EDT 2020
[root@CentOSX ~]# clock -w

注：所有操作中CentOSA的表示在A上执行，B表示在B上执行，C表示在C上执行，X表示所有机器均执行

安装zookeeper

[root@CentOSX ~]#  tar -zxf zookeeper-3.4.6.tar.gz -C /usr/
[root@CentOSX ~]# vi /usr/zookeeper-3.4.6/conf/zoo.cfg
tickTime=2000 
dataDir=/root/zkdata 
clientPort=2181
initLimit=5 
syncLimit=2 
server.1=CentOSA:2887:3887 
server.2=CentOSB:2887:3887 
server.3=CentOSC:2887:3887
[root@CentOSX ~]# mkdir /root/zkdata
[root@CentOSA ~]# echo 1 >> zkdata/myid
[root@CentOSB ~]# echo 2 >> zkdata/myid
[root@CentOSC ~]# echo 3 >> zkdata/myid
[root@CentOSX ~]# /usr/zookeeper-3.4.6/bin/zkServer.sh start zoo.cfg
[root@CentOSX ~]# /usr/zookeeper-3.4.6/bin/zkServer.sh status zoo.cfg

配置Hadoop

[root@CentOSC ~]# tar -zxf hadoop-2.6.0_x64.tar.gz -C /usr/
[root@CentOSC ~]# vi /root/.bashrc
HADOOP_HOME=/usr/hadoop-2.6.0
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_HOME
[root@CentOSC ~]# source /root/.bashrc
[root@CentOSC ~]# echo $HADOOP_HOME
/usr/hadoop-2.6.0

编辑 /usr/hadoop-2.6.0/etc/hadoop/core-site.xml 加入以下配置

<!-- IP需要更改成你当前机器的IP地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/hadoop-2.6.0/hadoop-${user.name}</value>
</property>

<!-- 开启回收站 -->
<property>
    <name>fs.trash.interval</name>
    <value>1</value>
</property>

<!-- Hadoop机架脚本 -->
<property>
    <name>net.topology.script.file.name</name>
    <value>/usr/hadoop-2.6.0/etc/hadoop/rack.sh</value> 
</property>

创建 /usr/hadoop-2.6.0/etc/hadoop/rack.sh 脚本

while [ $# -gt 0 ] ; do
	nodeArg=$1
    exec</usr/hadoop-2.6.0/etc/hadoop/topology.data
    result=""
    while read line ; do
    	ar=( $line )
        if [ "${ar[0]}" = "$nodeArg" ] ; then
        result="${ar[1]}"
        fi
    done
    shift
    
    if [ -z "$result" ] ; then
    	echo -n "/default-rack"
    else
    	echo -n "$result "
    fi 
done

# 为脚本增加执行权限
[root@CentOSA ~]# ll /usr/hadoop-2.6.0/etc/hadoop/rack.sh
-rwxr--r--. 1 root root 358 Mar 19 16:59 /usr/hadoop-2.6.0/etc/hadoop/rack.sh

创建机架映射文件 /usr/hadoop-2.6.0/etc/hadoop/topology.data

192.168.49.146 /rack1
192.168.49.147 /rack1 
192.168.49.148 /rack2

/usr/hadoop-2.6.0/etc/hadoop/hdfs-site.xml 加入以下配置

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<!--开启自动故障转移--> 
<property> 
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>
<!--设置zookeeper服务地址--> 
<property> 
    <name>ha.zookeeper.quorum</name>
    <value>CentOSA:2181,CentOSB:2181,CentOSC:2181</value> 
</property>
<!--解析core-site.xml中mycluster配置-->
<property> 
    <name>dfs.nameservices</name>
    <value>mycluster</value> 
</property>
<property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value> 
</property>
<property> 
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>CentOSA:9000</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name> 
    <value>CentOSB:9000</value> 
</property>
<!--连接日志服务-->
<property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://CentOSA:8485;CentOSB:8485;CentOSC:8485/mycluster</value>
</property> 
<!--配置转移处理者-->
<property> 
    <name>dfs.client.failover.proxy.provider.mycluster</name> 
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
</property>
<!--配置SSH防御信息-->
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
</property> 
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
</property>

/usr/hadoop-2.6.0/etc/hadoop/slaves 改为以下配置

CentOSA
CentOSB
CentOSC

启动HDFS

[root@CentOSX ~]# hadoop-daemon.sh start journalnode # 等上10秒钟，再进行下一步操作 
[root@CentOSA ~]# hdfs namenode -format
[root@CentOSA ~]# hadoop-daemon.sh start namenode 
[root@CentOSB ~]# hdfs namenode -bootstrapStandby #（下载active的namenode元数据）
[root@CentOSB ~]# hadoop-daemon.sh start namenode 
[root@CentOSA|B ~]# hdfs zkfc -formatZK #（可以在CentOSA或者CentOSB任意一台注册namenode信息） 
[root@CentOSA ~]# hadoop-daemon.sh start zkfc # (哨兵)
[root@CentOSB ~]# hadoop-daemon.sh start zkfc # (哨兵) 
[root@CentOSX ~]# hadoop-daemon.sh start datanode

搭建yarn环境

编辑 /usr/hadoop-2.6.0/etc/hadoop/yarn-site.xml 加入以下配置

<property>
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value>
</property>
<!--Resource Manager--> 
<property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
</property> 
<property>
    <name>yarn.resourcemanager.zk-address</name> 
    <value>CentOSA:2181,CentOSB:2181,CentOSC:2181</value>
</property> 
<property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>rmcluster01</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
</property> 
<property> 
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>CentOSB</value>
</property>
<property> 
    <name>yarn.resourcemanager.hostname.rm2</name> 
    <value>CentOSC</value>
</property>

/usr/hadoop-2.6.0/etc/hadoop/mapred-site.xml

<!-- 先将 /usr/hadoop-2.6.0/etc/hadoop/mapred-site.xml.template 改名成 mapred-site.xml -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

启动yarn

[root@CentOSB ~]# yarn-daemon.sh start resourcemanager
[root@CentOSC ~]# yarn-daemon.sh start resourcemanager 
[root@CentOSX ~]# yarn-daemon.sh start nodemanager
张建闯
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
启动hadoop时遇到Host key verification failed.
qq_41805514的博客
03-25 7170
问题如下： [root@namenode sbin]# start-dfs.sh Starting namenodes on [NN] The authenticity of host 'nn (192.168.4.16)' can't be established. ECDSA key fingerprint is SHA256:+80GiOqSsCJkefY9527/CCs/MGqkBYs...
杨校老师课堂之Hadoop环境搭建(二)
杨校的博客
03-23 3951
1. 了解Hadoop配置文件 1.1 当前所处位置，及内部文件如下 [root@hadoop1 hadoop-2.7.4]# ll 总用量 116 drwxr-xr-x. 2 20415 101 194 8月 1 2017 bin drwxr-xr-x. 3 20415 101 20 8月 1 2017 etc drwxr-xr-x. 2 20415 101 106 8月 1 2017 include drwxr-xr-x. 3 20415 101 20 8月
namenode和datanode无法启动解决方案
热门推荐
一扣解千愁的博客
11-02 1万+
安装Hadoop（伪分布式环境）namenode和datanode无法启动解决方案 先附上我参考的安装教程链接 10.1.88.4/index_1.php?url=http://www.msftconnecttest.com/redirect 我在执行./start-all.sh之后发现，没有任何错误提示，输入jps得到如下结果： [hadoop@localhost ...
Hadoop中怎么解决Starting secondary namenodes [0.0.0.0]
qq_44176343的博客
11-08 9719
对于Ubtuntu安装的Hadoop的补充，安装教程见博客：https://blog.csdn.net/qq_44176343/article/details/106824922 我在安装过程中遇到一个这么的错误，这个问题怎么解决呢？ 解决办法： 1.打开用于设置HDFS分布式文件系统的hdfs-site.xml,一般是缺少下图蓝色框圈住的部分导致的，每个人的文件位置不一样，如果是按照我分享的教程安装的，则命令如下： sudo gedit /usr/local/hadoop/etc/hadoop/hdfs
The authenticity of host '0.0.0.0 (0.0.0.0)' can't be established.
大猴子
07-13 1万+
ubuntu安装Hadoop是出现 The authenticity of host ‘0.0.0.0 (0.0.0.0)’ can’t be established.（错误）， 代码如下：root@master:/usr/local/hadoop/hadoop-2.6.0# sbin/start-dfs.sh Starting namenodes on [localhost] loca
Mac环境搭建Hadoop伪分布式无法启动namenode问题解决办法
TRX的博客
12-12 4059
参考：MAC下搭建Hadoop运行环境_白程序员的自习室-CSDN博客_hadoop mac 的博客，在我的Mac上搭建Hadoop，启动时遇到namenode无法启动的问题，折腾了一下午，终于解决，记录一下 我是根据博文的步骤进行配置的，细节大家可以移步看看，下面贴出我的配置： hadoop版本：3.2.1 JDK：1.8 一、我的配置文件： 1. core-site.xml <configuration> <property> <name>ha.
Centos7+hadoop2.6.0分布式集群搭建
01-21
Centos7上搭建hadoop2.6.0分布式系统，教程超详细! 搭建过程中如果有什么疑问可以邮我1668544151@qq.com 单机搭建伪分布式也适用！
hadoop 2.6.0 安装包
06-30
这个"hadop 2.6.0 安装包"是为了帮助用户搭建和配置Hadoop环境，特别适用于大数据处理和分析。 1. **Hadoop的核心组件** - **HDFS（Hadoop Distributed File System）**：分布式文件系统，负责数据的存储。HDFS...
Hadoop2.6.0集群环境搭建
04-28
1.linux系统:Ubuntu14.04 2.hadoop版本:hadoop-2.2.0 3.JDK版本:Jdk1.8.0_74
Hadoop2.6.0版本windows环境搭建
01-23
本文将详细介绍如何在Windows环境下搭建Hadoop2.6.0版本。首先，我们需要从指定的下载地址获取CDH（Cloudera Distribution Including Apache Hadoop）提供的Hadoop2.6.0-cdh5.13.0的压缩包，地址为：...
hadoop集群环境搭建
博客
08-21 227
版本可能比较老，但步骤还是挺全的：http://www.it610.com/article/1943095.htm
The authenticity of host ‘master (192.168.80.5)‘ can‘t be established.
王同学的博客
12-04 3888
在Hadoop平台搭建过程中，已经生成了公钥和私钥。但是启动start-dfs.sh时出现以下： [root@master sbin]# start-dfs.sh Starting namenodes on [master] The authenticity of host 'master (192.168.80.5)' can't be established. ECDSA key fingerprint is SHA256:kwMDpIlPjgPyTTQLN3Tg2pCFoXTiWmijpXICUN7v
Hadoop安装杂记（2）
weixin_33733810的博客
04-22 123
一、分布式模型 1、环境准备 准备4个节点，master1为主控节点（NameNode、SecondaryNameNode、ResourceManager），master2-4作为数据节点（DataNode、NodeManager）。并做好ntp时间同步 1.1 每个节点配置JAVA环境 [root@master1 ~]# vim /etc/profile.d/java.sh export JA...
大数据环境搭建之Hadoop伪分布式Linux环境搭建步骤详解
砥砺前行的博客
08-20 392
启动集群 sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemon.sh start datanode sbin/yarn-daemon.sh start nodemanager sbin/yarn-daemon.sh start resourcemanager 快捷键 加粗 Ctrl + B 斜体 Ctrl +...
虚拟机centos7上的hadoop+hbase伪分布安装
weixin_43979477的博客
11-29 1326
简单了解下hadoop与hbase Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供...
hadoop2.X如何将namenode与SecondaryNameNode分开配置
weixin_34168700的博客
11-14 399
本帖最后由 pig2 于 2014-6-17 19:54 编辑 问题导读 1.如何将namenode与SecondaryNameNode分开？ 2.SecondaryNameNode单独配置，需要修改那些配置文件？ 3.masters文件的作用是什么？ 我们这里假设你已经安装配置了hadoop2.2，至于如何配置可以参考...
HDFS环境搭建
weixin_30933531的博客
07-25 143
前言 Hadoop早期衍生自Nutch（Java开源的搜索引擎），早期Nutch构建开源的搜索引擎，同样在少数的机器上同时运行计算任务面临着问题，在这个时候Google发布了GFS和Map Reduce论文。人们参考着这两篇论文中所阐述的思想开始重建Nutch的存储和计算模型。一开始尝试在20台机器的计算和存储，不久人们发现为了满足web服务高扩展性，需要将集群规模扩展到几千台的集群规模。就在这...
模拟namenode崩溃，使用secondarynamenode恢复
08-30 222
因为资源有限，不再设置新的节点来代替原来的namenode，所以在原来namenode节点上， 将dfs.name.dir指定的目录中（这里是name目录）的内容清空，以此来模拟故障发生。 方法一：将集群关闭后，再重新启动我们会看到namenode守护进程消失 并且查看HDFS中的文件失败 关闭集群，格式化namenode 从任意datanode中
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值