Yarn配置kerberos认证

最新推荐文章于 2023-07-23 08:34:03 发布
最新推荐文章于 2023-07-23 08:34:03 发布
阅读量485 收藏
点赞数
文章标签： 大数据 python 操作系统
原文链接：https://my.oschina.net/Yumikio/blog/742623
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

1、环境说明

系统环境:

  • 操作系统：centos6.6
  • Hadoop版本：CDH5.5
  • JDK版本：1.7.0_67

集群各节点Yarn的角色规划为：

172.16.57.74   bd-ops-test-74    ResourceManager  NodeManager
172.16.57.75   bd-ops-test-75    ResourceManager  NodeManager
172.16.57.76   bd-ops-test-76    NodeManager JobHistoryServer yarn-proxyserver
172.16.57.77   bd-ops-test-77    NodeManager

2、生成keytab

在 74 节点，即 KDC server 节点上执行下面命令：

cd /var/kerberos/krb5kdc/

kadmin.local -q "addprinc -randkey yarn/bd-ops-test-74@BIGDATA.COM "
kadmin.local -q "addprinc -randkey yarn/bd-ops-test-75@BIGDATA.COM "
kadmin.local -q "addprinc -randkey yarn/bd-ops-test-76@BIGDATA.COM "
kadmin.local -q "addprinc -randkey yarn/bd-ops-test-77@BIGDATA.COM "

kadmin.local -q "addprinc -randkey mapred/bd-ops-test-74@BIGDATA.COM "
kadmin.local -q "addprinc -randkey mapred/bd-ops-test-75@BIGDATA.COM "
kadmin.local -q "addprinc -randkey mapred/bd-ops-test-76@BIGDATA.COM "
kadmin.local -q "addprinc -randkey mapred/bd-ops-test-77@BIGDATA.COM "

kadmin.local -q "xst  -k yarn.keytab  yarn/bd-ops-test-74@BIGDATA.COM"
kadmin.local -q "xst  -k yarn.keytab  yarn/bd-ops-test-75@BIGDATA.COM "
kadmin.local -q "xst  -k yarn.keytab  yarn/bd-ops-test-76@BIGDATA.COM "
kadmin.local -q "xst  -k yarn.keytab  yarn/bd-ops-test-77@BIGDATA.COM "

kadmin.local -q "xst  -k mapred.keytab  mapred/bd-ops-test-74@BIGDATA.COM "
kadmin.local -q "xst  -k mapred.keytab  mapred/bd-ops-test-75@BIGDATA.COM "
kadmin.local -q "xst  -k mapred.keytab  mapred/bd-ops-test-76@BIGDATA.COM "
kadmin.local -q "xst  -k mapred.keytab  mapred/bd-ops-test-77@BIGDATA.COM "

拷贝 yarn.keytab 和 mapred.keytab 文件到其他节点的 /etc/hadoop/conf 目录

scp yarn.keytab mapred.keytab bd-ops-test-xx:/etc/hadoop/conf

并设置权限，在各节点上执行：

# cd /etc/hadoop/conf/;chown yarn:hadoop yarn.keytab;chown mapred:hadoop mapred.keytab ;chmod 400 *.keytab

由于 keytab 相当于有了永久凭证，不需要提供密码(如果修改 kdc 中的 principal 的密码，则该 keytab 就会失效)，所以其他用户如果对该文件有读权限，就可以冒充 keytab 中指定的用户身份访问 hadoop，所以 keytab 文件需要确保只对 owner 有读权限(0400)

3. 修改 YARN 配置文件

修改 yarn-site.xml，添加下面配置：

<property>
  <name>yarn.resourcemanager.keytab</name>
  <value>/etc/hadoop/conf/yarn.keytab</value>
</property>
<property>
  <name>yarn.resourcemanager.principal</name> 
  <value>yarn/_HOST@BIGDATA.COM</value>
</property>

<property>
  <name>yarn.nodemanager.keytab</name>
  <value>/etc/hadoop/conf/yarn.keytab</value>
</property>
<property>
  <name>yarn.nodemanager.principal</name> 
  <value>yarn/_HOST@BIGDATA.COM</value>
</property> 
<property>
  <name>yarn.nodemanager.container-executor.class</name>  
  <value>org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor</value>
</property> 
<property>
  <name>yarn.nodemanager.linux-container-executor.group</name>
  <value>yarn</value>
</property>

<property>
   <name>yarn.web-proxy.keytab</name>
   <value>/etc/hadoop/conf/yarn.keytab</value>
</property>

<property>
    <name>yarn.web-proxy.principal</name>
    <value>yarn/_HOST@BIGDATA.COM</value>
</property>

修改 mapred-site.xml，添加如下配置：

<property>
  <name>mapreduce.jobhistory.keytab</name>
  <value>/etc/hadoop/conf/mapred.keytab</value>
</property> 
<property>
  <name>mapreduce.jobhistory.principal</name> 
  <value>mapred/_HOST@BIGDATA.COM</value>
</property>

在 /etc/hadoop/conf 目录下创建 container-executor.cfg 文件，内容如下：

#configured value of yarn.nodemanager.linux-container-executor.group
yarn.nodemanager.linux-container-executor.group=yarn
#comma separated list of users who can not run applications
banned.users=bin
#Prevent other super-users
min.user.id=0
#comma separated list of system users who CAN run applications
allowed.system.users=root,nobody,impala,hive,hdfs,yarn

设置该文件权限：

# chown root:yarn container-executor.cfg
# chmod 400 container-executor.cfg

# ll container-executor.cfg
-r-------- 1 root yarn 354 11-05 14:14 container-executor.cfg

注意：

  • container-executor.cfg 文件读写权限需设置为 400，所有者为 root:yarn。
  • yarn.nodemanager.linux-container-executor.group 要同时配置在 yarn-site.xml 和 container-executor.cfg，且其值需要为运行 NodeManager 的用户所在的组，这里为 yarn。
  • banned.users 不能为空，默认值为 hfds,yarn,mapred,bin
  • min.user.id 默认值为 1000，在有些 centos 系统中，用户最小 id 为500，则需要修改该值
  • 确保 yarn.nodemanager.local-dirs 和 yarn.nodemanager.log-dirs 对应的目录权限为 755 。

设置 /usr/lib/hadoop-yarn/bin/container-executor 读写权限为 6050 如下：

# chown root:yarn /usr/lib/hadoop-yarn/bin/container-executor
# chmod 6050 /usr/lib/hadoop-yarn/bin/container-executor

# ll /usr/lib/hadoop-yarn/bin/container-executor
---Sr-s--- 1 root yarn 333 11-04 19:11 container-executor

测试是否配置正确：

# /usr/lib/hadoop-yarn/bin/container-executor --checksetup

如果提示错误，则查看 NodeManger 的日志，然后对照 YARN ONLY: Container-executor Error Codes 查看错误对应的问题说明。

关于 LinuxContainerExecutor 的详细说明，可以参考 http://hadoop.apache.org/docs/r2.5.0/hadoop-project-dist/hadoop-common/SecureMode.html#LinuxContainerExecutor。

记住将修改的上面文件同步到其他节点，并再次一一检查权限是否正确。

# cd /etc/hadoop/conf/

# scp yarn-site.xml mapred-site.xml container-executor.cfg  bd-ops-test-xx:/etc/hadoop/conf/

# cd /etc/hadoop/conf/; chown root:yarn container-executor.cfg ; chmod 400 container-executor.cfg
# cd /etc/hadoop/conf/; chown root:yarn container-executor.cfg ; chmod 400 container-executor.cfg

4、启动服务

启动 ResourceManager

resourcemanager 是通过 yarn 用户启动的，故在 74,75 上先获取 yarn 用户的 ticket 再启动服务：

$ kinit -k -t /etc/hadoop/conf/yarn.keytab yarn/bd-ops-test-xx@BIGDATA.COM
# service hadoop-yarn-resourcemanager start

然后查看日志，确认是否启动成功。

2016-09-05 13:40:11,190 INFO org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger: USER=yarn	OPERATION=transitionToActive	TARGET=RMHAProtocolService	RESULT=SUCCESS

启动 NodeManager

resourcemanager 是通过 yarn 用户启动的，故在各节点上先获取 yarn 用户的 ticket 再启动服务：

kinit -k -t /etc/hadoop/conf/yarn.keytab yarn/bd-ops-test-xx@BIGDATA.COM ;service hadoop-yarn-nodemanager start

观察日志成功信息：

2016-09-05 13:50:37,869 INFO org.apache.hadoop.security.UserGroupInformation: Login successful for user yarn/bd-ops-test-76@BIGDATA.COM using keytab file /etc/hadoop/conf/yarn.keytab

启动 MapReduce Job History Server

resourcemanager 是通过 mapred 用户启动的，故在 76节点 上先获取 mapred 用户的 ticket 再启动服务：

$ kinit -k -t /etc/hadoop/conf/mapred.keytab mapred/bd-ops-test-75@BIGDATA.COM
# service hadoop-mapreduce-historyserver start

观察日志成功信息：

16/09/05 13:55:49 INFO security.UserGroupInformation: Login successful for user mapred/bd-ops-test-76@BIGDATA.COM using keytab file /etc/hadoop/conf/mapred.keytab

启动 yarn-proxyserver

# service hadoop-yarn-proxyserver start

观察日志成功信息：

2016-09-05 16:28:24,569 INFO org.apache.hadoop.security.UserGroupInformation: Login successful for user yarn/bd-ops-test-76@BIGDATA.COM using keytab file /etc/hadoop/conf/yarn.keytab

5. 测试

运行一个 mapreduce 的例子：

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 10000

如果没有报错，则说明配置成功。最后运行的结果为：

Job Finished in 45.007 seconds
Estimated value of Pi is 3.14120000000000000000

 

 

转载于:https://my.oschina.net/Yumikio/blog/742623

weixin_33755554
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
yarn web ui 加认证_跟我学 “Linux” 小程序 Web 版开发（一）：初始化
weixin_30332165的博客
01-20 178
“Linux” 小程序是 Linux 中国在 2019 年 2 月（恰恰是去年春节）发布的小程序，该小程序采用众包模式，对著名的 TLDR 项目中的 Linux 命令示例进行了翻译，并通过微信小程序的形式展现。在 2020 年的春节，我们面向更多的 PC 端用户，开放了 Web 版的 Linux 命令查询。Web 版和小程序版数据同步，让你在使用桌面计算机时也可以进行命令查询。从今天起，我们将在 ...
分布式安全--YARN & HDFS2 安装和配置Kerberos
blockish的专栏
03-17 951
设置hadoopsecurity core-site.xml       hadoop.security.authentication      kerberos            hadoop.security.authorization      true      hadoop.secur
解决配置完kerberos后，HDFS、YARN的web页面无法访问
不二先生的笔记
09-23 5085
HDFSWebUI浏览器认证 我们设置CDH支持kerberos后会出现下图所示的情况： 这是因为权限问题，按照下面的方式可完美解决 1.浏览器配置（Firefox） 1.打开火狐浏览器，在地址栏输入：about:config，进入设置页面。 2.搜索“network.negotiate-auth.trusted-uris”，修改值为自己的服务器主机名。 3搜索“network.auth.use-sspi”，双击将值变为false。 2安装kfw 1安装提...
浏览器访问kerberos身份验证的配置
人望山丶鱼窥荷的博客
04-07 959
暂时只支持firefox 输入框about:config， 搜索network.negotiate-auth.trusted-uris 配置值为要访问服务的uri,比如我要访问我部署的livy服务uri为http:0.0.0.0:8998，就配置network.negotiate-auth.trusted-uris值为http:0.0.0.0:8998，多个服务用`,`分割 ...
[ YARN 3.1.x ] 开启Kerberos配置&使用
张伯毅的专栏
03-28 2678
.一 .前言1.1. 环境说明1.2. 服务规划1.3. 安装Kerberos环境1.4. 安装YARN环境二 .安装YARN2.1. 添加用户2.2. 配置YARN相关的Kerberos账户2.2.1. 创建keytab存放目录2.2.2. 配置master01上面运行的服务对应的Kerberos账户2.2.3. 权限设置2.2.4. 编译源码构建Linux-Container-executor2.2.5. 设置 hadoop 需要使用的各个目录的权限2.3. 配置hadoop的 lib/native(
yarn配置文件.7z
12-25
yarn配置文件yarn配置文件yarn配置文件 配合nodejs和yarn使用
为hdfs配置kerberos
10-27
本文档记录了为hadoop的hdfs配置kerberos的过程，hadoop用的版本是2.4.1。其中有一些作者的个人经验，希望对读者有帮助。
yarn 前端打包工具指定配置文件
08-10
yarn 前端打包工具指定配置文件
Hadoop大数据平台构建、YARN配置、启动与验证教学课件.pptx
06-20
YARN配置、启动与验证 YARN配置、启动与验证 序号 任务名称 任务一 YARN组件参数配置 任务二 MapReduce组件参数配置 任务三 配置SSH无密钥登录（slave1为主节点） 任务四 分发YARN与MapReduce配置文件 任务五 启动...
node、npm、yarn环境安装与配置
02-02
详细描述 node环境安装与配置 npm环境配置以及仓库配置 yarn环境配置
Hadoop默认配置之yarn-default
qq_42417269的博客
09-15 926
hadoop的yarn的默认配置项
大数据技术-Kerberos学习笔记
xiaoyixiao_的博客
03-02 3844
大数据技术-Kerberos学习笔记
YARN、Spark、Hive使用kerberos
热门推荐
一只刚刚上路的猿
02-20 1万+
本文记录YARN、Spark、Hive各服务配置使用kerberos的过程。 我的环境： 三台服务器，分别命名为zelda1、zelda2、zelda3ubuntu 14.04hadoop 2.7.2spark 2.0/1.6.1 YARN认证 目的是将YARN接入到kerberos集群里，使得： RM和NM之间能互相认证，避免混进去恶意服务；其他提交到YARN上的J
YARN的安全身份验证
最新发布
互联网知识分享
07-23 328
YARN的安全身份验证目的在一个大规模的集群环境中，各个节点之间的通信安全是非常重要的。YARN的安全身份验证机制可以保障集群中节点之间通信的机密性和完整性，避免数据泄露和被篡改的风险。YARN的安全身份验证机制YARN的安全身份验证机制基于Kerberos协议，通过对每个用户和服务进行身份认证和授权，实现了集群内部通信的安全。Kerberos是一个网络身份验证协议，使用对称密钥加密技术保障通信的安全性。YARN利用Kerberos。
YARN 远程代码执行（RCE）安全漏洞问题分析与解决方案
明哥的IT随笔
04-26 1439
某客户使用Tenable.sc扫描安全漏洞后反馈，YARN 存在Remote code execution (RCE) 安全漏洞问题，攻击者可在未经过身份验证的情况下通过该漏洞在受影响主机执行任意命令，最终控制服务器。
yarn上配置kerberos（十二）
forever19870418的博客
04-06 3546
一、创建认证规则 二、创建Keytab文件 三、部署Kerberos Keytab文件 四、修改YARN配置文件，包括 1）yarn-site.xml 2）mapred-site.xml 3）container-executor.cfg 五、启动服务 六、测试 实施步骤 1、创建认证规则 [root@cdh1 training]# kadmin.local -q "a
YARN/MRv2 Resource Manager深入剖析—RM总体架构
caodaoxi的专栏
10-23 283
在YARN中，ResourceManager负责集群中所有资源的统一管理和分配，它接收来自各个节点（NodeManager）的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序（实际上是ApplicationManager）。 ResourceManager主要由以下几个部分组成： 用户交互 YARN分别针对普通用户，管理员和Web提供了三种对外服务，分别对应ClientRM...
YARN配置Kerberos认证
weixin_33918114的博客
04-08 2220
关于 Kerberos 的安装和 HDFS 配置 kerberos 认证，请参考HDFS配置kerberos认证。 1. 环境说明 系统环境： 操作系统：CentOs 6.6 Hadoop版本：CDH5.4 JDK版本：1.7.0_71 运行用户：root 集群各节点角色规划为： 192.168.56.121 cdh1 N...
zookeeper delete yarn rmstore
nickyu888的博客
05-21 1375
cdh6.2仍然无法解决zookeeper注册信息过期造成yarn的主备脑裂问题。 摘录别人的文章：https://sukbeta.github.io/zookeeper-delete-yarn-rmstore/ 错误日志（日志可能会有不同，现象就是无法手动切换主备） 2019-06-16 21:07:39,030 WARN org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger: USER=yarn OPERATION=transitionT
hive配置kerberos认证
05-24
在 Hive 中启用 Kerberos 认证需要在 Hadoop 和 Hive 中进行相应的配置。以下是一些大致的步骤： 1. 在 Hadoop 的 core-site.xml 中添加以下属性： ``` <property> <name>hadoop.security.authentication</name> <value>kerberos</value> </property> ``` 2. 在 Hadoop 的 hdfs-site.xml 中添加以下属性： ``` <property> <name>dfs.namenode.kerberos.principal</name> <value>hdfs/_HOST@EXAMPLE.COM</value> </property> <property> <name>dfs.datanode.kerberos.principal</name> <value>hdfs/_HOST@EXAMPLE.COM</value> </property> ``` 3. 在 Hadoop 的 yarn-site.xml 中添加以下属性： ``` <property> <name>yarn.resourcemanager.principal</name> <value>yarn/_HOST@EXAMPLE.COM</value> </property> <property> <name>yarn.nodemanager.principal</name> <value>yarn/_HOST@EXAMPLE.COM</value> </property> ``` 4. 在 Hive 的 hive-site.xml 中添加以下属性： ``` <property> <name>hive.metastore.sasl.enabled</name> <value>true</value> </property> <property> <name>hive.metastore.kerberos.keytab.file</name> <value>/path/to/hive.keytab</value> </property> <property> <name>hive.metastore.kerberos.principal</name> <value>hive/_HOST@EXAMPLE.COM</value> </property> ``` 其中，`hive.metastore.kerberos.keytab.file` 指定的是 Hive 的 keytab 文件路径，`hive.metastore.kerberos.principal` 指定的是 Hive 的 principal 名称。 5. 在启动 Hive 的时候，需要使用以下命令来启动 Kerberos 认证： ``` kinit -kt /path/to/hive.keytab hive/_HOST@EXAMPLE.COM ``` 这个命令将会使用指定的 keytab 文件和 principal 来获取 Kerberos 的 ticket。在 ticket 过期之前，你可以使用这个 ticket 来访问 Hive。 以上是 Hive 配置 Kerberos 认证的大致步骤，具体的配置可能因环境不同而有所不同。如果你遇到了问题，可以参考官方文档或者咨询相关的技术支持。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值