Hadoop 3.3.2 HDFS Simple认证Standby同步格式化信息失败 Authentication required

最新推荐文章于 2023-09-06 13:13:23 发布
最新推荐文章于 2023-09-06 13:13:23 发布
阅读量2.7k 收藏
点赞数
分类专栏： BigData Hadoop 文章标签： hadoop hdfs big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_27418407/article/details/123553069
版权

文章目录

背景

参考文档配置Hadoop HTTP Authentication Simple认证，在2.7.7版本工作正常，升级到3.3.2版本后出现以下异常。

...
2021-02-25 21:18:52,356 ERROR [main] org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.io.IOException: java.lang.RuntimeException: org.apache.hadoop.hdfs.server.common.HttpGetFailedException: Image transfer servlet at http://XXXXX/imagetransfer?ge
timage=1&txid=0&storageInfo=-65:271209174:1614287921618:CID-f21dbb8a-8660-4ef6-8045-f80daf067c38&bootstrapstandby=true failed with status code 401
Response message:
Authentication required
        at org.apache.hadoop.hdfs.server.namenode.ha.BootstrapStandby.run(BootstrapStandby.java:549)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1728)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1821)
Caused by: java.lang.RuntimeException: org.apache.hadoop.hdfs.serve
最低0.47元/天 解锁文章
dalongm
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Hadoop】Simple Authentication
TragicJun的专栏
08-07 6205
最近在写一个MapReduce程序，需要从DB里面读取某些数据，但是公司内所有的DB都是Kerberos方式认证，因而有必要对MapReduce Security机制做一些初步的研究。 JAAS 首先，Hadoop Security是基于JAAS(Java Authentication and Authorization Service)实现的，这是JDK标准的一个框架，可plug各种类型的L
HDFS用户的simple认证配置
WannaRunning的博客
03-17 1379
目录 配置authorization开启权限认证 配置允许操作的用户 HDFS有两种认证方式，SIMPLE方式较简单，只认证用户名称没有密码。 配置authorization开启权限认证 authorization配置在core-site.xml文件中的 vi hadoop/etc/hadoop/core-site.xml <property> <name>hadoop.security.authorization</name> <valu..
【分析思路】hadoop 3.3.1 bug修复：failed with status code 401 Response message: Authentication required
hiliang521的博客
09-05 1092
为了支持国产化，hadoop需要安装3.3.1版本，而客户这边需要安全认证，所以对于hadoop需要做的事是升级到3.3.1版本、支持HA模式、安全认证。本文关注hadoop升级过程、启动中出现的401权限问题。
HADOOP 安全体系-Authentication 1
lordk911的博客
04-18 2031
Authentication 验明身份的合法性，hadoop里需要验证加入集群的节点是合法的。要求链接的用户是合法的。 MIT Kerberos MIT Kerberos 是一种中心化的认证工具，hadoop的认证体系默认采用 kerberos,简称 krb5 krb5 分为服务端与客户端，通过 Relam 组成网络krb5 理解为一个数据库，里面的对象是 principal principa
【修改源码】hadoop 3.3.1 failed with status code 401 Response message: Authentication required
hiliang521的博客
09-19 1298
本文主要通过修改源码解决hadoop内部通讯鉴权的问题。
Kerberos authentication
hacker_zhb的博客
05-19 667
转自：http://www.sunchangming.com/blog/?p=4137   JAAS是Java 认证和授权服务（Java Authentication and Authorization Service）的缩写，是PAM框架的Java实现。 javax.sercurity.auth.Subject是一个不可继承的实体类，它表示单个实体的一组相关信息，与请求的来源相关。 ...
hadoop格式化HDFS出现错误解决办法
01-10
hadoop格式化HDFS出现错误解决办法 报错信息： host:java.net.UnknownHostException: centos-wang: centos-wang: unknown error 在执行hadoop namenode -format命令时，出现未知的主机名。  问题原因：  出现...
hadoop重新格式化HDFS步骤解析
01-11
同时，HDFS作为一种分布式文件系统，它的安装也是需要相应的格式化操作的，如果安装失败或者我们需要重新安装的时候，那我们就需要对HDFS重新进行格式化，这篇文章就和大家一起讨论下如何进行HDFS的重新格式化。...
hadoop-hdfs-fsimage-exporter：将Hadoop HDFS内容统计信息导出到Prometheus
02-03
将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布（可选） 块数 文件复制（总体/每个用户摘要） 导出器使用解析FSImage。 这种方法的优点...
Hadoop Security Authentication Terminology --Kerberos
星.云计算
07-19 309
Hadoop Security Authentication Terminology --Kerberos What is kinit? Kinit - obtain and cache Kerberos ticket-grantingticket If you use the kinit commandto get your tickets, make sure you use the kd...
SimpleAuthentication:简单认证机制的描述
05-10
简单身份验证 一个使用Glassfish + Derby实现JDBC领域认证的示例。 我将其创建为Maven Web项目。
Hadoop安全认证
loser与你
08-26 1342
Hadoop安全认证  Hadoop中采用了SASL（Simple Authentication and Security Layer，简单层和安全层）进行安全认证，具体方法涉及DIGEST-MD5和Kerberos两种。 1.SASL  SASL是一种用来扩充C/S模式验证能力的认证机制，核心思想是把用户认证和安全传输从应用程序中隔离出来。  SASL支持多种认证方法，主要包括以下几种：  (1)ANONYMOUS：无须认证  (2)PLAIN：最简单但危险的机制，信息采用明文密码方式传输  (3)DIG
Hadoop_3.X.x 注意事项
底层码农
03-31 1万+
hadoop3 hdfs web端口改为9870 <property> <name>dfs.namenode.http-address</name> <value>0.0.0.0:9870</value> <description> The address and the base port where...
《Hadoop系列》ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
最新发布
小小关的博客
09-06 806
3.可能引发这样问题的原因是hadoop的默认格式化路径在/tmp下，但是这个目录每次重启的时候都会被清空，导致namenode格式化出错，而且多次格式化后，也可能回引起hadoop集群的问题。所以必须解决这个问题。1.Linux系统在每次重启后，hadoop不能正藏启动namenode,需要格式化之后才能再次启动。2.初步认定为namenode格式化问题。修改hadoop下的core-site.xml。修改好之后，手动格式化namenode。
python3操作hdfs库中报错问题总结
R4bbit
03-09 3168
报错信息： hdfs.util.HdfsError: Permission denied: user=dr.who, access=WRITE, inode="/user/hadoop/output":hadoop:supergroup:drwxr-xr-x 解决方法： 因为权限的问题，需要修改配置文件和赋予权限： 1.赋予权限 hadoop fs -chmod 777 /user/hadoop 2.修改配置文件 hdfs-site.xml <property> <na
分分钟解决HDFS无法启动的一个小问题------HDFS启动后一直处于安全状态
lin的专栏
03-04 4880
文章转自：原创：任航若泽大数据 问题 : HDFS启动后一直处于安全状态 解决过程： 1.查看hadoop namenode的启动日志 1STARTUP_MSG: Starting NameNode 2STARTUP_MSG: host = hadoop001/192.168.137.141 3STARTUP_MSG: args = [] 4STARTUP_MSG: v...
Java HDFS Kerberos 认证
行人事，知天命
06-19 7940
Kerberos 认证 代码如下： package com.gridsum.datasocket; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.LocatedFileStatus; import org.apac...
Hadoop HA集群两个NameNode都是standby或者主NameNode是standby，从NameNode是active的情况集锦
热门推荐
想你依然心痛的博客
08-17 4万+
这里说一下配置Hadoop HA集群可能出现的两种情况，第一种就是两个NameNode都是standby，第二种就是主Master是standby，从Master是active。
2.Hadoop 集群HA Standby Namenode损坏故障修复2
weixin_43346403的博客
04-17 1735
技术让生活更精彩
虚拟机中配置hadoop环境中hdfs格式化失败
05-02
在虚拟机中配置Hadoop环境时，当尝试格式化HDFS时，可能会遇到失败的情况。这可能是由于多种原因导致的。 首先，需要检查Hadoop配置文件是否正确设置。确保core-site.xml和hdfs-site.xml中指定了正确的本地文件系统路径，以及NameNode的IP地址和端口号。 其次，检查虚拟机的资源配置是否足够应对Hadoop所需的资源。包括内存、处理器和硬盘空间。 另外，使用Hadoop时还需要确保网络连接稳定。尝试连接各个节点以及NameNode是否成功，也需要确保节点之间可以正常通信。 最后，还需要检查Hadoop的日志以确定失败的具体原因。日志中通常会提供有关格式化失败的详细信息，以便诊断问题并采取适当的措施。 总之，解决在虚拟机中配置Hadoop环境中HDFS格式化失败的问题需要仔细检查配置文件、资源、网络连接和日志，以确定问题的具体原因并采取相应的解决措施。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值