搭建开启keberos的hadoop集群（1）

已于 2023-07-12 15:28:13 修改
阅读量514 收藏 1
点赞数
文章标签： hadoop 大数据 分布式
于 2023-03-30 16:35:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HJ_tianyaZD/article/details/129852686
版权

集群规划

主机名hadoop101hadoop102hadoop103hadoop104
IP192.168.111.101192.168.111.102192.168.111.103192.168.111.104
组件nn1
datanode
zookeeper
ranger		datanode
zookeeper		datanode
zookeeper		nn2
mysql
KDC
 

前置条件

准备四台虚拟机，配置免密登陆，ip主机名修改为上方规划的内容

配置jdk环境变量

1.进入hadoop101的/opt目录下，创建software和module两个文件夹2.上传hadoop、zookeeper和jdk的tar.gz包到hadoop21的/opt/software目录下

3.压jdk到/opt/module目录

 tar -zxvf jdk1.8.0_212 -C /opt/module

4.配置jdk环境变量

5.重新加载环境

配置zookeeper

1.解压zookeeper到/opt/module

2.配置zookeeper环境变量

3.进入zookeeper的conf目录，将zoo_sample.cfg改名为zoo.cfg，配置zoo.cfg

vim zoo.cfg

修改如下配置

dataDir=/opt/module/zookeeper-3.6.1/zkData

#数据存储位置
dataDir=/opt/module/zookeeper-3.6.1/zkData
#连接端口
clientPort=2181
#服务器地址
server.1=hadoop101:2888:3888
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888

在zookeeper目录下创建zkData文件夹，并在该目录下创建一个myid文件，内容为1

将zookeeper文件夹拷贝到hadoop102、hadoop103

将三台机器的目录全部赋权为hadoop：hadoop

chown hadoop:hadoop -R zookeeper-3.6.1 

修改hadoop102的myid文件，内容为2

修改hadoop103的myid文件，内容为3

启动zookeeper服务，每台机器切换到hadoop用户执行如下命令

zkServer.sh start

输入 zkServer.sh status查看zookeeper状态

先正常安装高可用集群

1.解压hadoop文件

tar -zxvf hadoop-3.2.3.tar -C /opt/module

2.修改配置文件

cd /opt/module/hadoop3-3.2.3/etc/hadoop

vim core-site.xml，添加下面内容

  <property>
        <name>fs.defaultFS</name>
    <value>hdfs://mycluster/</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-3.2.3/tmp</value>
  </property>
  <!--指定zookeeper地址-->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>hadoop101:2181,hadoop102:2181,hadoop103:2181</value>
  </property>

vim hdfs-site.xml

<configuration>
    <!-- 指定HDFS的nameservices为mycluster,需要跟core-site.xml中保持一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <!-- 设置mycluster集群有两个namenode, 分别为nn1,nn2 -->
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
    <!-- 配置nn1 的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>hadoop101:9000</value>
    </property>
    <!-- 配置nn1的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>hadoop101:50070</value>
    </property>
    <!-- 配置nn2 的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>hadoop104:9000</value>
    </property>
    <!-- 配置nn2的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>hadoop104:50070</value>
    </property>
    <!-- 指定NameNode的edits元数据在journalNode上的服务器 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoop101:8485;hadoop102:8485;hadoop103:8485/mycluster</value>
    </property>
    <!-- 指定JournalNode 在本地磁盘存放数据的位置 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/module/hadoop-3.2.3/journaldata</value>
    </property>
    <!--开启namenode失败自动切换-->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <!--配置失败自动切换实现方式-->
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!--配置隔离机制方式，多个机制用换行分隔，即每个机制暂用一行-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
            shell(/bin/true)
        </value>
    </property>
    <!--使用sshfence隔离机制时需要ssh免登录-->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>
    </property>
    <!--配置sshfence隔离机制超时时间-->
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
</configuration>

vim mapred-site.xml

<configuration>
<!-- 指定mapreduce运算时资源调度为 yarn 模式 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
<!-- 配置mapreduce历史服务器地址 端口号 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop101:10020</value>
    </property>
<!-- 配置mapreduce历史服务器WEB访问地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop101:19888</value>
    </property>
</configuration>

vim yarn-site.xml

<configuration>
    <!-- 开启高可用 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!-- 指定ResourceManager的标识：yrc -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>
    <!-- 指定RM的名字-->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <!-- 指定rm1服务器 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop101</value>
    </property>
    <!-- 指定rm2服务器 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop104</value>
    </property>
    <!-- 指定rm 被管理的zk 地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop101:2181,hadoop102:2181,hadoop103:2181</value>
    </property>
    <!-- 运行mapreduce任务需要使用的服务 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 开启yarn集群的日志聚合功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- 设置日志保存时间 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>86400</value>
    </property>
    <!-- 启动rm自动恢复功能 -->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!-- 制定rm 状态信息存储在zookeeper集群上 -->
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
</configuration>

vim works

hadoop101
hadoop102
hadoop103
hadoop104

将hadoop-3.2.3拷贝到其他节点，权限全部改成hadoop:hadoop

在hadoop101，hadoop02，hadoop02机器上启动journalnode

hadoop-daemon.sh start journalnode

在hadoop101上格式化namenode

hdfs namenode -format

在hadoop101上格式化ZKFC

hdfs zkfc -formatZK

在hadoop101上执行启动脚本

start-all.sh

登录到hadoop101:50070和hadoop104:50070

第二篇文章开始开启kerberos

HJ_tianyaZD
关注
Hadoop开启Kerberos安全模式
gmHappy
07-22 1044
一、前言 完成Hadoop集群搭建，可参照：https://gaoming.blog.csdn.net/article/details/118995746 完成Kerberos KDC的搭建，可参照： https://gaoming.blog.csdn.net/article/details/118939810 二、kerberos配置 2.1 新增用户 在kerberos服务器执行以下命令新增用户，对应HDFS集群的3台服务器的默认用户hdfs和http，还有yarn kadmin.local -q "a
Hadoop 配置 Kerberos 认证_hadoop kerberos认证
2401_84185182的博客
04-27 533
rw-r–r–. 1 root root 1298 10月 5 17:14 bd_ca_cert。-rw-r–r–. 1 root root 1834 10月 5 17:14 bd_ca_key。
国产服务器安装kerberos，hadoop集成kerberos
qq_45928840的博客
10-12 693
在hdfs-site.xml中配置，默认值为file://${hadoop.tmp.dir}/dfs/data，这里我们需要修改/opt/context/software/bigdata/hadoop-3.2.3/tmp/dfs/data路径的所有者和组为hdfs:hadoop，访问权限为700。这里我们配置的路径为/opt/context/software/bigdata/hadoop-3.2.3/tmp/dfs/ha/jn，所以这里修改该路径的所有者和组为hdfs:hadoop，访问权限为700。
hadoop大数据安全管理：ldap、keberos、ranger
最新发布
qq_41358574的博客
07-23 1239
hadoop大数据中认证一般用keberos，授权用ranger，kerberos和Ldap组件共同组成整个集群的安全鉴权体系，Ldap负责用户数据存储。kerberosKerberos 是一种网络认证协议，用于在不安全的网络中以安全的方式对用户和服务进行身份验证。它通过使用密钥加密技术来防止数据被窃听或篡改，确保了认证过程的安全性。kerberos所管理的一个用户或者服务叫Principal,其格式通常如下：primary/instance@realm。
hadoop HA+kerberos HA集群搭建
anxia5150的博客
09-05 652
IP、主机名规划 hadoop集群规划： hostname IP hadoop 备注 hadoop1 110.185.225.158 NameNode,ResourceManager,DFSZKFailoverController,JournalNode hadoop2 110.185.225.166 NameNode,Reso...
基于kerberos的hadoop安全集群搭建
weixin_38166318的博客
06-20 665
[TOC] 上一份工作主要负责大数据平台的建设，在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记，由于时间关系，不打算去修改其中的错别字和排版问题，直接释出原始笔记。 前置条件 我所在的集群有三台服务其，对应的host分别为master,slave1,slave2。hadoop服务的安装分部为 机器host 组件情况 master namenode、datanode、journalnode、resourcemanager、nodemanager、jobhistoryserver
Hadoop Kerberos 集成
hyunbar的博客
02-10 2929
大数据技术AI Flink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料 106篇原创内容 ...
MIT kerberos认证集群搭建
lyd882的博客
06-12 578
MIT kerberos认证集群搭建 认证原理 可以看这个博客，很详细： https://blog.csdn.net/sky_jiangcheng/article/details/81070240 环境搭建 运行环境 ubuntu18.04 server kdc: hp01 client: hp02、hp03 安装软件 安装NTP时间同步服务 hp01安装kdc ,admin-server sudo apt-get install krb5-kdc krb5-admin-server
kerberos 与Hadoop集成
半日闲的博客
08-23 2978
kerberos 安装通过yum安装即可，组成KDC
在kerberos化hadoop集群提交spark任务
yx_keith的博客
04-30 4824
在kerberos集群上提交 spark任务复杂性远远高于非kerberos集群，提交spark任务分为两种模式：yarn-client和yarn-cluster模式，先简单说明一下这两种模式。 1.yarn-client模式 使用yarn-client模式提交，提交任务的client节点作为spark driver，executor在yarn container中启动，运行日志和状态信息都可以在...
Hadoop部署和配置Kerberos安全认证
05-17
Hadoop部署和配置Kerberos安全认证全套流程。已经过实测并部署与生产环境。
使用API访问开启kerberos集群下的HDFS
sharkdoodoo
07-22 5055
# 使用 Java API访问开启安全Kerberos的Hdfs
kafka Kerberos集群环境部署验证
麦田里的守望者-蒋中洲【相信相信的力量】
05-23 500
修改完成后，重复上述步骤，分别完成citicbank-bdp-1a-04 / citicbank-bdp-1a-05主机上的keytab文件生成，重启kafka服务即可。注意：需要给每个机器生成单独的keytab文件，然后将生成的文件拷贝到对应的kafka服务节点的/export/server/文件夹子下。然后将该主机/root/kafka.keytab文件拷贝到citicbank-bdp-1a-03主机的/export/server/目录下。例如：citicbank-bdp-1a-03主机。
原生apache hadoop3.3.1集群安装配置Kerberos
h952520296的博客
05-25 1555
安装kerberos可以看一下我另外一篇。下面直接开始配置hadoop部署好了kerberos之后，首先添加用户和生成认证文件在KDC中添加需要认证的用户具体用户看情况而定(hadoop集群主要由hdfs管理，所以除了建hdfs账户还有HTTP账户，另外还有hive、hbase、dwetl也会访问hadoop集群。如有别的用户可用这种方式另行添加，如下图：格式为：用户名/主机hostname@HADOOP.COM。
hadoop 3.X 分布式HA集成Kerbos(保姆级教程）
guofei_ok的博客
06-30 1209
前提：先安装Kerbos。
hadoop2.7.2开启kerberos认证
xiao90713的博客
07-13 3788
环境介绍： 一共三台机器： hadoop11: 192.168.230.11 namenode 、kerberos client hadoop12: 192.168.230.12 datanode 、kerberos client hadoop13: 192.168.230.13 datanode 、kerberos server（KDC） 保证安装kerberos 之前能正常开启hadoop集群（已安装集群） 一、介绍安装kerberos服务器 1、在hadoop13安装kerberos se
Hadoop集群之开启kerberos安全认证
weixin_39060974的博客
03-07 8068
1.KDC节点 KDC节点上需要安装krb5-server、krb5-libs、krb5-auth-dialog、krb5-workstation服务，Client单独部署在其他节点 yum install krb5-server krb5-libs krb5-auth-dialog krb5-workstation -y 2.Client节点 Client节点上部署krb5-devel、krb5-workstation服务 yum install krb5-devel krb5-workst
Hadoop集成Kerberos安全服务器
qq_43541182的博客
03-16 1501
公司里要给Hadoop配置Kerberos，记录一下过程中遇到的问题。
java keberos
10-28
1. 安装与配置 Kerberos 服务端：要使用 Java Kerberos，需要安装和配置一个 Kerberos 服务端，这个服务端将负责生成并验证 Kerberos TGT（票据授权票）和服务票据。 2. 配置 Java 客户端：在 Java 应用程序中，...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值