Hadoop dr.who问题

最新推荐文章于 2023-12-07 22:50:09 发布
最新推荐文章于 2023-12-07 22:50:09 发布
阅读量8.5k 收藏 1
点赞数 2
分类专栏： 大数据技术 文章标签： yarn hdfs logs dr.who
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sin_geek/article/details/84058243
版权

背景
昨天在生产环境偶然发现，yarn的一些日志访问不了，报如下错误 User [dr.who] is not authorized to view the logs for application；然后发现hdfs管理界面有些文件目录页进不去，登录即右上角为logged in as dr.who。然后到网上查找资料。

原因
Resource Manager UI的默认用户dr.who权限不正确

解决
因为工作使用的是Ambari，在HDFS > Configurations > Custom core-site > Add Property
hadoop.http.staticuser.user=yarn
在这里插入图片描述

Sin_Geek
关注
专栏目录
CDH6.3.2解决yarn historyServer页面为空，登录用户为Logged in as: dr.who的问题
nhm_lxy的专栏
04-12 327
Logged in as: dr.who，yarn,jobHistory,CDH6.3.2
解决hadoop Permission denied: user=dr.who, access=WRITE, inode=“/“:kfk:supergroup:drwxr-xr-x问题
笔者从事电信媒体开发多年，愿意将多年的开发经验分享给同行
01-03 2956
使用http 浏览器打开hdfs的服务页面后，使用Browser Direcotry，然后创建文件夹，结果报错了。报错的内容是hadoop Permission denied: user=dr.who, access=WRITE, inode=“/“:kfk:supergroup:drwxr-xr-x问题。本文详细介绍了如何进行配置解决此问题。
Hadoop中的dr.who是什么
说文科技，做有态度的研究。
01-04 1万+
Hadoop中的dr.who是什么？ 1.问题 今天在查看自己的hadoop web ui的时候，发现了如下的界面： 仔细看右上角，发现这里登陆的用户名是：dr.who，这个dr.who是谁呢？难道是别黑客入侵了？【一般不可能是黑客入侵，难道我自己的虚拟机集群都值钱？】 2.原因 下面这句话引自《Hadoop权威指南》的chapter 6 中的Setting Up the Development...
【Hadoop完全分布式】监控页面遇到user=dr.who权限问题
xiaozhang0912的博客
03-08 2552
在搭建好集群兴致冲冲的准备建立自己的文件夹时，非常悲催的遇到了权限问题，心情一下down。。。。。 如图 当在/目录下建立zzk文件时，错误代码提示user=dr.who，dr.who是Resource Manager UI的用户，主要原因是当前用户对于此路径或此路径下的文件权限不够导致，无法读、写、或者执行等操作。 先stop-all.sh，关闭集群 修改配置文件core-site.xml，添...
Hadoop报错：Permission denied by sticky bit: user=dr.who, path=
weixin_59295776的博客
07-28 554
用户dr.who其实是hadoop中http访问的静态用户名，并没有啥特殊含义，可以在core-default.xml中看到其配置.同时，hdfs的默认配置hdfs-default.xml发现hdfs默认是开启权限检查的。
Hadoop基础之《（8）—yarn dr.who用户漏洞被挖矿》
csj50的专栏
01-31 868
dr.who用户执行了很多application，服务器被挖矿。因为yarn的8088端口REST API没有做权限控制，允许任意用户通过API创建任务。5、服务器上在/var/tmp/下就写入了11112222_test_11112222文件。1、检查/tmp和/var/tmp目录，删除异常文件。2、检查crontab -l，删除可疑脚本。2、构建json文件。
大数据学习踩坑之操作文件权限问题 Permission denied:user=dr.who,access=WHERE,inode="/user":hdfs:hadoop:drwxr-xr-x
HeyShHeyou的博客
12-09 1445
利用大数据集群的 web 管理页面删除上传的文件时，系统提示如下： 主要原因是当前用户对于此路径或此路径下的文件权限不够导致，无法读、写、或者执行等操作。 关于 dr.who： core-default.xml 文件中 介绍 dr.who The user name to filter as, on static web filters while rendering content....
Hdfs页面操作文件出现 Permission denied: user=dr.who, access=WRITE, inode=“/“:hadoop:supergroup:drwxr-xr问题解决
biuubi的博客
05-24 1万+
错误描述：Permission denied: user=dr.who, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x 先开始一直纠结我是用hadoop用户登录操作的，为什么会是dr.who，dr.who其实是hadoop中http访问的静态用户名，并没有啥特殊含义，可以在core-default.xml中看到其配置， hadoop.http.staticuser.user=dr.who 我们可以通过修改core-site.xml，配置为当前用户，
hadoop相关问题
weixin_41347226的博客
06-05 775
一、mapreduce作业oom 1、任务还没启动,直接oom报错 AM日志： 21/05/10 15:15:13 INFO mapreduce.Job: Task Id : attempt_1617064346277_101596_m_000000_1, Status : FAILEDError: Java heap space21/05/10 15:15:16 INFO mapreduce.Job: Task Id : attempt_1617064346277_101596_m_000000_2, S
hadoop页面删除目录报错Permission denied: user=dr.who, access=WRITE, inode=“/user/hive/warehouse“
爱米酱的博客
07-21 2123
今天在hadoop的web页面删除目录时报错 解决方案如下： 直接修改/user目录的权限设置 hdfs dfs -chmod -R 777 /user 之后就可以删除了
exec命令 调用并执行指定的命令
01-09
exec命令用于调用并执行指定的命令。exec命令通常用在shell脚本程序中，可以调用其他的命令。如果在当前终端中使用命令，则当指定的命令执行完毕后会立即退出终端。 语法格式：exec [参数] 常用参数： -c 在空环境中执行指定的命令 参考实例 首先使用echo命令将文本“Welcome to use Linux!”进行输出： [root@linuxcool ~]# echo Welcome to use Linux! Welcome to use Linux! 然后再使用exec命令调用echo命令输出同样的信息，并且对输出的信息进行对比： [root@linuxcool
Hadoop YARN ResourceManager 未授权访问getshell
09-23
利用Hadoop YARN ResourceManager 未授权访问getshell工具以及WORD说明
Windows10下Hadoop创建文件报错hadoop permission denied user=dr.who access=write inode= /
qq_39662852的博客
08-20 2559
Windows10下Hadoop创建文件报错标题http://localhost:9870 http://localhost:9870 在文件管理页面，新建文件夹的时候一直报错。 按照网上的方法改了hdfs-site.xml 里面加了权限设置 也尝试用了其他方法，都不行。后来问了大佬才发现是 hdfs上面所属的组和现在用来创建文件的用户是否一致，和上面文件配置也基本没关系。 解决办法 直接切换...
hive启动beeline报org.apache.hadoop.security.authorize.AuthorizationException
u013109501的博客
11-25 2919
解决办法： 1.在hive-site.xml中配置 <property> <name>hive.metastore.sasl.enabled</name> <value>false</value> <description>If true, the metastore Thrift interface will be secured with SASL. Clients must authenticate with K
Permission denied: user=dr.who, access=READ_EXECUTE, inode=“/tmp“:root:supergroup:drwx------
rubyw的博客
05-30 1374
hadoop集群部署，在hadoopweb上打开tmp文件时出现报错： Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":root:supergroup:drwx------ 出错原因：tmp权限不够 解决方法：修改tmp权限 root@hadoop:/opt/module/hadoop# root@hadoop hadoop:hdfs dfs -chmod -R 755 /tmp 再次通过Hadoop 访
Hadoop报错Permission denied: user=dr.who, access....
weixin_46039745的博客
08-02 1969
该问题其实是一个权限问题，可能会导致运行 “ hadoop jar ”命令时报错；MapReduce工件，中间数据将保存在该目录下。MapReduce作业执行完成后，这些文件将自动清除。报错原因是因为运行 ” hadoop jar “ 文件时的默认hdfs文件夹是tmp，但是由于权限不够导致运行失败。Hadoop集群上tmp文件夹上方出现红色代码串。重启hadoop服务才可执行!
python-hdfs使用记录hdfs访问User: dr.who is not allowed to impersonate hdfs
u010025966的博客
01-22 642
使用python的hdfs包操作错误解决 在使用的时候会出现错误 User: dr.who is not allowed to impersonate hdfs client=Client("http://namenode:50070/",proxy='hdfs') 解决有两种： 1.修改hdfs配置 hadoop.proxyuser.dr.who.hosts = * hadoop.proxyuser.dr.who.user = * hadoop.proxyuser.dr.who.group = * 生效
Hadoop用户权限管理及hdfs权限管理
热门推荐
tianzhimuzi的博客
05-08 2万+
1.创建用户student1，所属分组为studentschown -R student1:students /home/hadoop/hadoop-2.7.6  root用户将hadoop的相关操作权限授予student12.修改Hadoop目录的权限 chmod -R 755 /home/hadoop/hadoop-2.7.63.hadoop fs -mkdir /user/student1_...
报错：Permission denied. user=dr.who is not the owner of inode=/tmp
最新发布
撕得失败的标签的博客
12-07 1138
关闭权限检查可能会导致严重的安全和隐私问题，因为它允许任何用户访问、读取、写入或删除文件系统中的数据。这样做意味着任何人都可以读取、修改或删除文件，包括可能的恶意用户或程序。，其解释为在静态网络过滤器上渲染内容时要作为过滤器的用户名。文件系统中，这种权限模式通常被认为是“完全开放”的，因为它允许任何人访问、修改或执行该目录及其内容。命令会将指定目录的权限设置为所有者、组和其他用户都有读（r）、写（w）和执行（x）权限。命令可以改变文件或目录的所有者和/或组。命令可以改变文件或目录的权限。
hadoop2.x和hadoop3.x的区别
03-16
Hadoop 2.x和Hadoop 3.x的区别主要在以下几个方面： 1. YARN的改进：Hadoop 2.x中引入了YARN（Yet Another Resource Negotiator），使得Hadoop可以支持多种计算框架，如MapReduce、Spark、Storm等。而Hadoop 3.x进一步改进了YARN，提高了其可伸缩性和容错性。 2. HDFS的改进：Hadoop 3.x中对HDFS进行了一系列改进，如增加了EC（Erasure Coding）编码、支持多个NameNode等，提高了其可靠性和性能。 3. 支持新的硬件架构：Hadoop 3.x支持新的硬件架构，如ARM处理器和NVMe SSD等，提高了Hadoop在这些硬件上的性能。 4. 其他改进：Hadoop 3.x还进行了一些其他的改进，如增加了容器化支持、改进了安全性等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值