Hadoop的安装与配置v2.0-Hadoop3.x

最新推荐文章于 2024-05-05 21:21:43 发布
最新推荐文章于 2024-05-05 21:21:43 发布
阅读量229 收藏 1
点赞数
分类专栏： # hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jinxilongjxl/article/details/108303546
版权

前面那篇文章安装的是hadoop2，此次我们搭建hadoop3，环境还是多搭几次找找感觉。

环境节点配置

node1node2node3
NNSN–
DNDNDN

node1 是namenode， node2是secondary namenode, node1~node3同时也是datanode

1 克隆节点

参考文章
https://blog.csdn.net/jinxilongjxl/article/details/108162296
克隆出3个节点node1，node2，node3
在这里插入图片描述

2 配置网络

2.1 修改网卡配置

vim /etc/sysconfig/network-scripts/ifcfg-ens33

删除uuid，修改ip
在这里插入图片描述
删除70-persistent-net.rules，centos7的话没有就不用删除

rm -rf /etc/udev/rules.d/70-persistent-net.rules

2.2 修改host文件

vim /etc/hosts

在这里插入图片描述

3 安装JDK

3.1 上传安装包

在家目录创建两个文件夹installpkgs放安装包，app放解压出来的东西

cd ~
mkdir installpkgs
mkdir app

推荐使用xftp，winscp，filezilla等ftp工具
在这里插入图片描述

3.2 解压

tar zxvf jdk-8u231-linux-x64.tar.gz -C ~/app

重命名JDK包好记点

cd ~/app
 mv jdk1.8.0_231/ JDK8

3.3 配置环境变量

 vim .bash_profile

在这里插入图片描述
使配置立即生效

 source .bash_profile

3.4 配置host文件

vim /etc/hosts

在这里插入图片描述
node2,node3 同理

3.5 免密登陆

ssh-keygen

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node2
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node3

在这里插入图片描述
这个ssh-copy-id 命令能直接在被登录的主机用户目录下自动创建.ssh目录，及authorized_keys文件
在这里插入图片描述
测试免密登录
在这里插入图片描述

3.6 关闭防火墙

查看防火墙状态
service iptables status
停止防火墙
service iptables stop 
永久关闭防火墙
chkconfig iptables off

如果是centos7
查看防火墙状态
systemctl status firewalld.service
停止防火墙
systemctl stop firewalld.service
永久关闭防火墙
systemctl disable firewalld.service

4 安装Hadoop3

4.1 下载安装包

https://archive.apache.org/dist/hadoop/common/
在这里插入图片描述

4.2 上传安装包

在这里插入图片描述

4.3 解压，重名安装包

tar zxvf hadoop-3.1.0.tar.gz -C ~/app
cd ~/app
mv hadoop-3.1.0/ HADOOP3

在这里插入图片描述
在这里插入图片描述

4.4 部署和配置

4.4.1 配置HADOOP环境变量

vim ~/.bash_profile

JAVA_HOME=/root/app/JDK8
HADOOP_HOME=/root/app/HADOOP3
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_HOME
export JAVA_HOME
export PATH

在这里插入图片描述

source ~/.bash_profile

在这里插入图片描述

4.4.2 hadoop-env.sh

cd ~/app/HADOOP3/etc/hadoop/
vim hadoop-env.sh

export JAVA_HOME=/root/app/JDK8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

在这里插入图片描述
hadoop3为了提升安全性，添加了HDFS_NAMENODE_USER，HDFS_DATANODE_USER，
HDFS_SECONDARYNAMENODE_USER，实际情况不能都用root，此处仅是为了方便搭建环境，进行演示

4.4.3 core-site.xml

先创建一个data目录
在这里插入图片描述

vim core-site.xml

<configuration>
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:9820</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/app/HADOOP3/data</value>
    </property>
</configuration>

在这里插入图片描述
说明：
fs.defaultFS指定namenode地址
hadoop.tmp.dir指定元数据的存放目录

3.4.4 hdfs-site.xml

 vim hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node2:9868</value>
    </property>
</configuration>

在这里插入图片描述

4.4.5 workers文件

在这里插入图片描述

vim workers

在这里插入图片描述

4.5 拷贝文件到从节点

4.5.1 拷贝jdk

在node1上执行

scp -r ~/app/JDK8 root@node2:/root/app/
scp -r ~/app/JDK8 root@node3:/root/app/

4.5.2 拷贝bash_profile

scp -r ~/.bash_profile root@node2:/root/.bash_profile
scp -r ~/.bash_profile root@node3:/root/.bash_profile

在这里插入图片描述

在node2上执行

source ~/.bash_profile

在这里插入图片描述
在node3上执行

source ~/.bash_profile

在这里插入图片描述

4.5.3 拷贝hadoop目录

scp -r ~/app/HADOOP3/ root@node2:/root/app/
scp -r ~/app/HADOOP3/ root@node3:/root/app/

4.6 格式化namenode

hdfs namenode -format

确认没有报错
在这里插入图片描述

4.7 启动

start-dfs.sh

确认启动成功
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.8 测试访问

在这里插入图片描述

5 HDFS HA高可用

之前只有一个NN，万一挂了就都跪了，高可用就是准备多个NN，一个active，一个standby。
环境节点配置

node1node2node3
NNNN–
ZKFC–ZKFC
JNJNJN
ZKZKZK
DNDNDN

NN：namenode 一个active，一个standby
zkfc：负责监控NN的状态，万一挂了，就把standby切换为active
JN：journal node负责存放两个NN的公共的edits等元数据
DN：datanode 用来存实际的数据块
ZK：zookeeper节点，zkfc节点把监控NN的心跳数据发送给zk，如果NN挂了，zk会进行选举

5.1 配置Zookeeper

a) 从官网或者附件下载链接中下载zookeeper

b) 上传到linux
在这里插入图片描述
c) 解压

cd ~/installpkgs
 tar zxvf zookeeper-3.4.6.tar.gz -C ~/app

5.1.1 修改zk配置文件zoo.cfg

# 创建一个存放数据的data目录
mkdir /root/app/zookeeper-3.4.6/data

# 拷贝一份配置文件
cp ~/app/zookeeper-3.4.6/conf/zoo_sample.cfg ~/app/zookeeper-3.4.6/conf/zoo.cfg

# 编辑配置文件
vim ~/app/zookeeper-3.4.6/conf/zoo.cfg

在这里插入图片描述

5.1.2 创建myid文件

cd /root/app/zookeeper-3.4.6/data
echo 1 > myid
more myid

在这里插入图片描述

5.1.3 拷贝zk到其他节点

 scp -r ~/app/zookeeper-3.4.6/ node2:/root/app/
  scp -r ~/app/zookeeper-3.4.6/ node3:/root/app/

vim myid
 more myid

node2,node3的myid修改下
在这里插入图片描述
在这里插入图片描述

5.1.4 配置环境变量

为了方便启动zk，加个环境变量，node2,node3同理

vim ~/.bash_profile
source ~/.bash_profile

scp ~/.bash_profile node3:/root/.bash_profile
scp ~/.bash_profile node3:/root/.bash_profile

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.1.5 记得关闭防火墙

# centos7
# 查看防火墙状态
systemctl status firewalld.service
# 停止防火墙
systemctl stop firewalld.service
# 永久关闭防火墙
systemctl disable firewalld.service

在这里插入图片描述
node3 同理关闭

5.1.6 启动zk

zkServer.sh start

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.2 Hadoop配置文件

5.2.1 hadoop-env.sh

cd ~/app/HADOOP3/etc/hadoop/
vim hadoop-env.sh

export JAVA_HOME=/root/app/JDK8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_ZKFC_USER=root
export HDFS_JOURNALNODE_USER=root

在这里插入图片描述
在这里插入图片描述

5.2.2 core-site.xml

vim core-site.xml

<configuration>
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/app/HADOOP3/data</value>
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>node1:2181,node2:2181,node3:2181</value>
    </property>
</configuration>

在这里插入图片描述
在这里插入图片描述

  • fs.defaultFS 默认文件系统的

5.2.3 hdfs-site.xml

vim hdfs-site.xml

<configuration>
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>node1:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>node2:8020</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>node1:9870</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>node2:9870</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://node1:8485;node2:8485;node3:8485/wen</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
            shell(/bin/true)
        </value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/journalnode/data</value>
    </property>
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
</configuration>

5.2.4 workers

vim workers

node1
node2
node3

在这里插入图片描述
在这里插入图片描述

5.3 复制文件到其他节点

scp hadoop-env.sh root@node2:/root/app/HADOOP3/etc/hadoop/
scp hadoop-env.sh root@node3:/root/app/HADOOP3/etc/hadoop/

scp core-site.xml root@node2:/root/app/HADOOP3/etc/hadoop/
scp core-site.xml root@node3:/root/app/HADOOP3/etc/hadoop/

scp hdfs-site.xml root@node2:/root/app/HADOOP3/etc/hadoop/
scp hdfs-site.xml root@node3:/root/app/HADOOP3/etc/hadoop/

scp workers root@node2:/root/app/HADOOP3/etc/hadoop/
scp workers root@node3:/root/app/HADOOP3/etc/hadoop/

在这里插入图片描述
在这里插入图片描述

5.4 免密登录

之前node1可以免密登录其他节点，现在node2也做一个免密登录

ssh-keygen

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node2
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node3

在这里插入图片描述

5.5 启动journalnode

hdfs --daemon start journalnode

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.6 格式化namenode

hdfs namenode -format

在这里插入图片描述

5.7 复制元数据到另一个NN上

我们在node1上进行格式化，因为node2也是NN，所以需要把元数据复制一份到node2上

cd /root/app/HADOOP3
scp -r data root@node2:/root/app/HADOOP3/

在这里插入图片描述

5.8 格式化ZKFC

hdfs zkfc -formatZK

在这里插入图片描述

5.9 启动集群

start-dfs.sh

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.10 浏览器测试

node1
在这里插入图片描述

node2
在这里插入图片描述

5.11 高可用测试

kill -9 [active namenode的pid]

干掉active的node2后，node1成为active
在这里插入图片描述
在这里插入图片描述

附件安装介质下载

链接：https://pan.baidu.com/s/1DlB5NuVJWBYjPa1FzNxx4A
提取码：8ko9

黑色落雪
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop3.x系统文档
03-23
Hadoop3.x系统文档Hadoop3.x系统文档Hadoop3.x系统文档
Hadoop系列之-7、Hadoop3.x的介绍
不积跬步无以至千里，不积小流无以成江河
08-09 361
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 大数据系列文章目录 目录介绍Hadoop 3.0新特性 介绍 由于Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本，即hadoop 3.0。Hadoop 3.0中引入了一些重要的功能和优化，包括HDFS可擦除编码、多Namenode支持、MR Native Task优化、YARN基于c
[Hadoop]一、Hadoop3.x高可用集群
最新发布
weixin_44428807的博客
05-05 566
Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。（1）NameNode：存储文件的元数据信息，如文件名、目录结构、文件属性（生成时间、副本数、文件权限等）、每个文件的块列表和块所在的DataNode等。（2）DataNode：在本地文件系统中存储文件块数据，以及块数据的校验和。（3）SecondaryNameNode：每隔一段时间对NameNode元数据备份（在高可用模式中不需要）。
Hadoop 3.x 笔记（配置、命令、脚本、重要图示、代码实现）
web18334137065的博客
08-16 994
2、重写序列化方法。
Hadoop3.x入门
正在努力的杜三岁
11-06 1622
Hadoop3.x入门学习记录
Hadoop3.x概述
weixin_44538225的博客
08-11 404
工具:idea 想要详细了解Hadoop的话，视频链接：https://www.bilibili.com/video/BV1Qp4y1n7EN?p=7 1、概念 什么是hadoop？ Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 主要解决，海量数据的存储和海量数据的分析计算问题。 广义上说，hadoop通常是指一个更广泛的概念—hadoop生态圈。 发展史 Hadoop创始人doug cutting，为了实现与Google类似的全文搜索功能，他在Lucene框架基础上进行优化升级，查
Hadoop安装手册_Hadoop2.0-v1.71
08-04
第 4 章 安装部署 Hive 444.1 解压并安装 Hive 44
flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar.tar.gz
11-14
本文将针对"flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar.tar.gz"这一特定压缩包，探讨Flink 1.14.0如何与Hadoop 3.x实现兼容，并深入解析其背后的原理。 Flink 1.14.0是一个强大的流处理引擎，它提供了...
hadoop-3.1.1.3.1.4.0-315.tar.gz
10-11
ambari-2.7.5 编译过程中四个大包下载很慢，所以需要提前下载，包含：hbase-2.0.2.3.1.4.0-315-bin.tar.gz ，hadoop-3.1.1.3.1.4.0-315.tar.gz ， grafana-6.4.2.linux-amd64.tar.gz ，phoenix-5.0.0.3.1.4.0-315....
hbase-2.0.2.3.1.4.0-315-bin.tar.gz
10-11
ambari-2.7.5 编译过程中四个大包下载很慢，所以需要提前下载，包含：hbase-2.0.2.3.1.4.0-315-bin.tar.gz ，hadoop-3.1.1.3.1.4.0-315.tar.gz ， grafana-6.4.2.linux-amd64.tar.gz ，phoenix-5.0.0.3.1.4.0-315....
flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar
11-16
Flink-1.11.2与Hadoop3集成JAR包，放到flink安装包的lib目录下，可以避免Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies.这个报错，实现...
hadoop3.x盘地址及官方其他版本下载地址.rar
03-26
文件中包含了hadoop3.x版本的hadoop无需编译安装包（linux版本）百度盘地址。同时附上了官网上其他版本的下载地址。hadoop3.x比起hadoop2.x拥有更高的存储性能。
Hadoop 2.x与3.x 22点比较,Hadoop 3.x比2.x的改进
09-30
本文介绍了Hadoop3版本中添加的新功能，Hadoop 2和Hadoop 3的区别，在这篇文章中，我们将讨论Hadoop 2.x与Hadoop 3.x之间的比较。感兴趣的朋友跟随小编一起看一下
Hadoop 3.x（入门）----【Hadoop概述】
在人间负债^
09-02 714
Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。NameNode（nn）：存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的 DataNode 等。DataNode（dn）：在本地文件系统存储文件块数据，以及块数据的校验和。Seconddary NameNode（2nn）：每隔一段时间对 NameNode 元数据备份。
【大数据之Hadoop3.x】
qq_43246115的博客
02-20 937
尚硅谷学习Hadoop的笔记
hadoop3.x单机版安装
06-07 985
需要软件 centos7（其他的也可以） jdk1.8 安装 关闭防火墙 systemctl stop firewalld.service systemctl disable firewalld.service 配置ip映射 vim /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain loc
hadoop3.x学习教程(一)
shenBaoYun的博客
02-14 1372
hadoop安装配置，本地模式运行案例
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
m0_52435951的博客
04-10 3729
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
Hadoop3.x新特性
张不帅
02-08 279
文章目录多NN的HA架构纠删码 多NN的HA架构 HDFS NameNode高可用性的初始实现为单个活动NameNode和单个备用NameNode，将edits复制到三个JournalNode。该体系结构能够容忍系统中一个NN或一个JN的故障。 但是，某些部署需要更高程度的容错能力。Hadoop3.x允许用户运行多个备用NameNode。例如，通过配置三个NameNode和五个JournalNode，群集能够容忍两个节点而不是一个节点的故障。 纠删码 HDFS中的默认3副本方案在存储空间和其他资源（例如，网
spark-3.3.0-bin-hadoop3.tg和spark-3.3.0-bin-without-hadoop.tgz
07-02
总之，spark-3.3.0-bin-hadoop3.tg和spark-3.3.0-bin-without-hadoop.tgz是Apache Spark的不同版本的压缩文件，分别适用于已安装了Hadoop版本3.x的环境和希望使用其他版本Hadoop或已有独立Hadoop环境的用户。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值