Kerberos安全认证-连载4-大数据技术组件之搭建HDFS HA集群

最新推荐文章于 2024-01-13 15:24:39 发布
最新推荐文章于 2024-01-13 15:24:39 发布
阅读量444 收藏 2
点赞数
分类专栏： Kerberos安全认证 文章标签： hdfs 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/131064403
版权

目录

1. 节点划分

2. 安装配置HDFS

3. 初始化HDFS

4.启动及停止

5. 访问WebUI

技术连载系列，前面内容请参考前面连载3内容:https://blog.csdn.net/qq_32020645/article/details/131064218

1. 节点划分

这里安装HDFS版本为3.3.4，搭建HDFS对应的角色在各个节点分布如下：

节点IP

节点名称

NN

DN

ZKFC

JN

RM

NM

192.168.179.4

node1

★

★

★

192.168.179.5

node2

★

★

★

192.168.179.6

node3

★

★

★

192.168.179.7

node4

★

★

★

192.168.179.8

node5

★

★

★

hadoop-3.3.4.tar.gz下载地址:https://download.csdn.net/download/qq_32020645/87867934

2. 安装配置HDFS

1) 各个节点安装HDFS HA自动切换必须的依赖

yum -y install psmisc

2) 上传下载好的Hadoop安装包到node1节点上，并解压

[root@node1 software]# tar -zxvf ./hadoop-3.3.4.tar.gz

3) 在node1节点上配置Hadoop的环境变量

[root@node1 software]# vim /etc/profile

export HADOOP_HOME=/software/hadoop-3.3.4/

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

#使配置生效

source /etc/profile

4) 配置$HADOOP_HOME/etc/hadoop下的hadoop-env.sh文件

#导入JAVA_HOME

export export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64/

5) 配置$HADOOP_HOME/etc/hadoop下的hdfs-site.xml文件

<configuration>

    <property>

        <!--这里配置逻辑名称，可以随意写 -->

        <name>dfs.nameservices</name>

        <value>mycluster</value>

    </property>

    <property>

        <!-- 禁用权限 -->

        <name>dfs.permissions.enabled</name>

        <value>false</value>

    </property>

    <property>

        <!-- 配置namenode 的名称，多个用逗号分割  -->

        <name>dfs.ha.namenodes.mycluster</name>

        <value>nn1,nn2</value>

    </property>

    <property>

        <!-- dfs.namenode.rpc-address.[nameservice ID].[name node ID] namenode 所在服务器名称和RPC监听端口号  -->

        <name>dfs.namenode.rpc-address.mycluster.nn1</name>

        <value>node1:8020</value>

    </property>

    <property>

        <!-- dfs.namenode.rpc-address.[nameservice ID].[name node ID] namenode 所在服务器名称和RPC监听端口号  -->

        <name>dfs.namenode.rpc-address.mycluster.nn2</name>

        <value>node2:8020</value>

    </property>

    <property>

        <!-- dfs.namenode.http-address.[nameservice ID].[name node ID] namenode 监听的HTTP协议端口 -->

        <name>dfs.namenode.http-address.mycluster.nn1</name>

        <value>node1:50070</value>

    </property>

    <property>

        <!-- dfs.namenode.http-address.[nameservice ID].[name node ID] namenode 监听的HTTP协议端口 -->

        <name>dfs.namenode.http-address.mycluster.nn2</name>

        <value>node2:50070</value>

    </property>

    <property>

        <!-- namenode 共享的编辑目录， journalnode 所在服务器名称和监听的端口 -->

        <name>dfs.namenode.shared.edits.dir</name>

        <value>qjournal://node3:8485;node4:8485;node5:8485/mycluster</value>

    </property>

    <property>

        <!-- namenode高可用代理类 -->

        <name>dfs.client.failover.proxy.provider.mycluster</name>

        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

    </property>

    <property>

        <!-- 使用ssh 免密码自动登录 -->

        <name>dfs.ha.fencing.methods</name>

        <value>sshfence</value>

    </property>

    <property>

        <name>dfs.ha.fencing.ssh.private-key-files</name>

        <value>/root/.ssh/id_rsa</value>

    </property>

    <property>

        <!-- journalnode 存储数据的地方 -->

        <name>dfs.journalnode.edits.dir</name>

        <value>/opt/data/journal/node/local/data</value>

    </property>

    <property>

        <!-- 配置namenode自动切换 -->

        <name>dfs.ha.automatic-failover.enabled</name>

        <value>true</value>

    </property>

</configuration>

6) 配置$HADOOP_HOME/ect/hadoop/core-site.xml

<configuration>

    <property>

        <!-- 为Hadoop 客户端配置默认的高可用路径  -->

        <name>fs.defaultFS</name>

        <value>hdfs://mycluster</value>

    </property>

    <property>

        <!-- Hadoop 数据存放的路径，namenode,datanode 数据存放路径都依赖本路径，不要使用 file:/ 开头，使用绝对路径即可

            namenode 默认存放路径 ：file://${hadoop.tmp.dir}/dfs/name

            datanode 默认存放路径 ：file://${hadoop.tmp.dir}/dfs/data

        -->

        <name>hadoop.tmp.dir</name>

        <value>/opt/data/hadoop/</value>

    </property>

    <property>

        <!-- 指定zookeeper所在的节点 -->

        <name>ha.zookeeper.quorum</name>

        <value>node3:2181,node4:2181,node5:2181</value>

    </property>

</configuration>

7) 配置$HADOOP_HOME/etc/hadoop/yarn-site.xml

<configuration>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.nodemanager.env-whitelist</name>

        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

    </property>

    <property>

        <!-- 配置yarn为高可用 -->

        <name>yarn.resourcemanager.ha.enabled</name>

        <value>true</value>

    </property>

    <property>

        <!-- 集群的唯一标识 -->

        <name>yarn.resourcemanager.cluster-id</name>

        <value>mycluster</value>

    </property>

    <property>

        <!--  ResourceManager ID -->

        <name>yarn.resourcemanager.ha.rm-ids</name>

        <value>rm1,rm2</value>

    </property>

    <property>

        <!-- 指定ResourceManager 所在的节点 -->

        <name>yarn.resourcemanager.hostname.rm1</name>

        <value>node1</value>

    </property>

    <property>

        <!-- 指定ResourceManager 所在的节点 -->

        <name>yarn.resourcemanager.hostname.rm2</name>

        <value>node2</value>

    </property>

    <property>

        <!-- 指定ResourceManager Http监听的节点 -->

        <name>yarn.resourcemanager.webapp.address.rm1</name>

        <value>node1:8088</value>

    </property>

    <property>

        <!-- 指定ResourceManager Http监听的节点 -->

        <name>yarn.resourcemanager.webapp.address.rm2</name>

        <value>node2:8088</value>

    </property>

    <property>

        <!-- 指定zookeeper所在的节点 -->

        <name>yarn.resourcemanager.zk-address</name>

        <value>node3:2181,node4:2181,node5:2181</value>

</property>

<property>

       <!-- 关闭虚拟内存检查 -->

    <name>yarn.nodemanager.vmem-check-enabled</name>

    <value>false</value>

</property>

<!-- 启用节点的内容和CPU自动检测，最小内存为1G -->

    <!--<property>

        <name>yarn.nodemanager.resource.detect-hardware-capabilities</name>

        <value>true</value>

    </property>-->

</configuration>

8) 配置$HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

9) 配置$HADOOP_HOME/etc/hadoop/workers文件

[root@node1 ~]# vim /software/hadoop-3.3.4/etc/hadoop/workers

node3

node4

node5

10) 配置$HADOOP_HOME/sbin/start-dfs.sh 和stop-dfs.sh两个文件中顶部添加以下参数，防止启动错误

HDFS_DATANODE_USER=root

HDFS_DATANODE_SECURE_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_JOURNALNODE_USER=root

HDFS_ZKFC_USER=root

11) 配置$HADOOP_HOME/sbin/start-yarn.sh和stop-yarn.sh两个文件顶部添加以下参数，防止启动错误

YARN_RESOURCEMANAGER_USER=root

YARN_NODEMANAGER_USER=root

12) 将配置好的Hadoop安装包发送到其他4个节点

[root@node1 ~]# scp -r /software/hadoop-3.3.4 node2:/software/

[root@node1 ~]# scp -r /software/hadoop-3.3.4 node3:/software/

[root@node1 ~]# scp -r /software/hadoop-3.3.4 node4:/software/

[root@node1 ~]# scp -r /software/hadoop-3.3.4 node5:/software/

也可以在对应其他节点上解压对应的安装包后，只发送对应的配置文件，这样速度较快。

13) 在node2、node3、node4、node5节点上配置HADOOP_HOME

#分别在node2、node3、node4、node5节点上配置HADOOP_HOME

vim /etc/profile

export HADOOP_HOME=/software/hadoop-3.3.4/

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

#最后记得Source

source /etc/profile

3. 初始化HDFS

#在node3,node4,node5节点上启动zookeeper

zkServer.sh start

#在node1上格式化zookeeper

[root@node1 ~]# hdfs zkfc -formatZK

#在每台journalnode中启动所有的journalnode,这里就是node3,node4,node5节点上启动

hdfs --daemon start journalnode

#在node1中格式化namenode

[root@node1 ~]# hdfs namenode -format

#在node1中启动namenode,以便同步其他namenode

[root@node1 ~]# hdfs --daemon start namenode

#高可用模式配置namenode,使用下列命令来同步namenode(在需要同步的namenode中执行，这里就是在node2上执行):

[root@node2 software]# hdfs namenode -bootstrapStandby

​​​​​​​​​​​​​​4.启动及停止

#node1上启动HDFS,启动Yarn

[root@node1 sbin]# start-dfs.sh

[root@node1 sbin]# start-yarn.sh

注意以上也可以使用start-all.sh命令启动Hadoop集群。

#停止集群

[root@node1 ~]# stop-dfs.sh

[root@node1 ~]# stop-yarn.sh

注意：以上也可以使用 stop-all.sh 停止集群。

​​​​​​​​​​​​​​5. 访问WebUI

#访问HDFS : http://node1:50070

#访问Yarn WebUI ：http://node1:8088

​​​​​​​

欢迎点赞、评论、收藏，关注IT贫道，获取IT技术知识！

IT贫道
关注
专栏目录
HCIA-Big Data华为认证大数据工程师 课程笔记 + 课后习题
weixin_43211147的博客
04-07 5071
文章目录 一、大数据发展趋势与鲲鹏大数据 　　大数据时代的机遇与挑战　 　　华为鲲鹏解决方案 　　课后习题 一、大数据发展趋势与鲲鹏大数据 大数据时代的机遇与挑战 大数据的定义 在3V的基础上，业界对4V的定义加上了价值密度低（Value），而IBM对4V的定义加上了 真实准确（Veracity）。 目前对大数据尚未有一个公认的定义，不同的定义基本上是从特征出发，试图给出大数据 的定义 大数据处理与传统数据处理的差异 企业级大数据平台应用场景 • 社交网络和物联网技术拓展了数据采
Kerberos安全认证-连载11-HBase Kerberos安全配置及访问_kerberos hbase
最新发布
2401_84023314的博客
04-03 1366
还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！【完整版领取方式在文末！！
为hdfs配置kerberos
10-27
本文档记录了为hadoop的hdfs配置kerberos的过程，hadoop用的版本是2.4.1。其中有一些作者的个人经验，希望对读者有帮助。
HDFS 集成 Kerberos
mnasd的博客
09-20 2670
本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程，包括 Kerberos 的安装和 Hadoop 相关配置修改说明。注意：下面第一、二部分内容，摘抄自《》，主要是为了对 Hadoop 的认证机制和 Kerberos 认证协议做个简单介绍。
HDFS使用Kerberos
一只刚刚上路的猿
02-17 2万+
转载自：http://www.datastart.cn/tech/2016/06/07/kerberos-1.html 本文尝试记录HDFS各服务配置使用kerberos的过程，配置的东西比较多，一定会有疏漏。 我的环境： 三台服务器，分别命名为zelda1、zelda2、zelda3ubuntu 14.04hadoop 2.7.2spark 2.0/1.6.1
HDFS配置Kerberos之创建 CA SSL证书
？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？
10-14 733
hdfs配置Kerberos之前 先创建ca证书
Hadoop部署和配置Kerberos安全认证
05-17
### Hadoop部署和配置Kerberos安全认证 #### 一、Kerberos认证系统简介 Kerberos是一种网络认证协议，其设计目标是通过密钥分发中心（Key Distribution Center, KDC）来管理用户和服务之间的认证过程。Kerberos在...
大数据-Hadoop-搭建(一)：搭建Hadoop完全分布式集群（在VMware中的Linux虚拟机）【CentOS6】【独立安装Apache Hadoop】
u013250861的博客
01-14 1579
大数据-Hadoop：搭建Hadoop完全分布式集群（在VMware中的Linux虚拟机） 一、VMware、Linux虚拟机环境准备 1、网络配置 1.1 查看网络IP和网关 1.1.1 查看虚拟网络编辑器 1.1.2 修改ip地址 1.1.3 查看网关 1.1.4 查看windows环境的中VMnet8网络配置(控制面板-网络和Internet-更改适配器选项) 1.2 配置Linux系统的网络IP和网关 1.2.1 查看当前网络IP 1.2.2 修改当前Linux系统的IP地址为固定地址 1.2.3
【HDFS HA与Kerberos安全集成】：实现安全访问控制的Kerberos整合方案
[【HDFS HA与Kerberos安全集成】：实现安全访问控制的Kerberos整合方案](https://img-blog.csdnimg.cn/2018112818021273.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9...
Kerberos与各大组件的集成
Swordfall的博客
07-23 764
1. 概述 　　Kerberos可以与CDH集成，CDH里面可以管理与hdfs、yarn、hbase、yarn、kafka等相关组件的kerberos凭证。但当我们不使用CDH的时候，也需要了解hdfs、yarn、hbase和kafka是如何配置关联kerberos的。 　　该文是建立在Kerberos基本原理、安装部署及用法博客的前提上的，需要首先了解Kerberos的基本原理、安装用...
hdfs关闭kerberos
qq_28074313的博客
06-04 1165
hadoop.security.authentication: Kerberos -> Simple hadoop.security.authorization: true -> false dfs.datanode.address: -> from 1004 (for Kerberos) to 50010 (default) dfs.datanode.http.addre...
HDFS配置Kerberos认证
热门推荐
wulantian的专栏
12-26 4万+
HDFS配置Kerberos认证 2014.11.04 本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程，包括 Kerberos 的安装和 Hadoop 相关配置修改说明。 注意： 下面第一、二部分内容，摘抄自《Hadoop的kerberos的实践部署》，主要是为了对 Hadoop 的认证机制和 Kerberos 认证协议做个简单
hadoop HA+kerberos HA集群搭建
anxia5150的博客
09-05 660
IP、主机名规划 hadoop集群规划： hostname IP hadoop 备注 hadoop1 110.185.225.158 NameNode,ResourceManager,DFSZKFailoverController,JournalNode hadoop2 110.185.225.166 NameNode,Reso...
一篇文章搞懂 HDFS 的 Kerberos 认证
Shockang的博客
06-10 2万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 Kerberos 认证 Kerberos 是一种网络认证协议，它使用加密来提供高度安全的认证机制。 这种认证机制由于具备以下功能而大受欢迎。 相互认证：在进行会话之前，客户端和服务器可以进行相互认证。 单点登录：一旦登录，令牌(token)的有效时间就确定了。令牌有效性的持续时间决定了会话的最长时间。
CDH开启kerberos后，HDFS连接的Java——API参数配置
gabele的专栏
01-07 3615
大数据平台的安全认证Kerberos是一个比较麻烦的东西，但往往为了平台的安全需要开启，开启后使用JavaAPI操作HDFS，需要进行用户登陆认证。
HDFS鉴权设计以及Kerberos鉴权方法
李姓门徒
01-13 1298
鉴权，分别由和组成因此对于某一个用户来说，通常情况下，需要完成和才能够满足一个完整的业务场景，因此通常将放在一起考量。本文探讨hdfs的鉴权常用的鉴权方式以及kerberos鉴权方式的相关方法。
怎样配置HDFS相关的Kerberos账户？
zy1992As的博客
06-14 268
Hadoop需要Kerberos来进行认证，以启动服务来说，在后面配置 hadoop 的时候我们会给 对应服务指定一个Kerberos的账户，比如 namenode 运行在cdh0机器上，我们可能将 namenode 指定给了 nn/cdh0.itcast.cn@ITCAST.CN 这个账户， 那么 想要启动 namenode 就必须认证 这个账户才可以。1. 在每个节点执行 mkdir /etc/security/keytabs。2. 配置cdh0上面运行的服务对应的Kerberos账户。
大数据：如何配置HDFS相关的Kerberos账户？
CZ-001的博客
02-15 319
Hadoop需要Kerberos来进行认证，以启动服务来说，在后面配置 hadoop 的时候我们会给 对应服务指定一个Kerberos的账户，比如 namenode 运行在cdh0机器上，我们可能将 namenode 指定给了 nn/cdh0.itcast.cn@ITCAST.CN 这个账户， 那么 想要启动 namenode 就必须认证 这个账户才可以。在每个节点执行 mkdir /etc/security/keytabs。配置cdh0上面运行的服务对应的Kerberos账户。
手动搭建Hadoop集群：Hadoop-HDFS的详细安装教程
在实际环境中，可能还需要考虑高可用性（HA）、安全性（如Kerberos认证）和其他优化措施，但以上步骤构成了基本的Hadoop-HDFS集群安装流程。在进行这些操作时，务必遵循最佳实践，确保数据安全性和系统的稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值