![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 68
Hadoop 生态圈相关内容
kiraraLou
这个作者很懒,什么都没留下…
展开
-
【kerberos】org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN,
在用SUSE 操作系统安装 CM 大数据平台,在集群开启 kerberos 后,使用 HDFS 命令报错如下:环境信息SUSE Linux Enterprise Server 12 Service Pack 1 (SLES 12 SP5)仔细看,在使用 klist 命令时,有个 他指向的路径是: 而在执行 命令时,有个 他指向的路径是 默认是去 目录下找 缓存。然后 SUSE 操作系统下 并不是放在 目录下,导致 客户端认为你没有进行 认证。所以报错。在中,我们增加了下面的参数以后原创 2023-02-16 10:50:01 · 1946 阅读 · 0 评论 -
HDFS 异常之 READ is not supported in state standby
但是却没有影响到功能的正常运行,只不过是抛出了大量的上述异常,而且内容都一样,也都是操作 HDFS 产生的,所以猜测与 HDFS 集群(或者配置)有关系。本文就记录发现问题、解决问题的过程。参考:http://support-it.huawei.com/docs/zh-cn/fusioninsight-all/maintenance-guide/zh-cn_topic_0062904132.html。转载 2023-01-30 17:59:02 · 1115 阅读 · 0 评论 -
【Yarn】The Capacity Scheduler
如上图中的子队列继承其父队列的资源。例如,在Preference队列中,Low叶子队列得到Preference最小容量20%的20%,而High队列得到20%最小容量的80%。翻译 2022-11-14 11:22:02 · 359 阅读 · 0 评论 -
【Yarn】spark/flink 作业的executor内存参数和Yarn web ui 显示不一致问题
最近在做CDH -> CDP的迁移,Yarn迁移完成后,发现在作业的executor内存参数和显示申请的内存不一致。例如:一个spark任务申请了 10个executor,每个executor内存为 1G,driver内存为 1G ,共11G,但是上面显示单个容器内存为 2G,共22G。原创 2022-11-07 13:35:54 · 964 阅读 · 0 评论 -
【yarn】Yarn container 日志清理
今天说一下 的日志清理机制。的日志目录结构如下图所示。 会在所有目录上为同一个应用程序建立相同的目录结构,并采用轮询的调度方式将这些目录分配给不同Container使用。每个Container将输出三类日志:这个配置为 。由于将所有的运行日志保存到本地磁盘上,因此,随着时间的积累,日志必将越来越多。为了避免大量日志“撑爆”磁盘空间,将定期清理日志文件,该功能由组件(当前存在两种实现:和)完成。总起来说,提供了定期删除(由实现)和日志聚集转存(由实现)两种日志清理机制,默认情况下,采用的是定期删除机制。允原创 2022-06-02 11:36:07 · 3091 阅读 · 0 评论 -
yarn resourcemanager调优
问题现象在作业提交比较多的时候,集群资源还有剩余,但是分配跟不上,导致peeding比较多,peeding时间长达10分钟。调优方法1.开启批量分配资源功能,在小任务多的时候能提高吞吐量。2.限制一次批量分配数量。默认没有限制,会导致节点计算资源不均衡,部分节点把所有的vcore都分配了,而部分节点一个也没分配。3.关掉持续调度功能,这个功能在集群规模比较大(大于75个节点)的时候会影响resouremanager的性能,该功能在hadoop2.7以后已经废弃。cdh官方建议调优操作原创 2021-03-29 16:13:18 · 203 阅读 · 0 评论 -
【CDH】CDH5.16 配置 yarn 任务集中分配设置不生效问题
前言记录下 CDH 集群 yarn 服务任务集中分配配置不生效问题。环境信息CDH 5.16Hadoop 2.6.0yarn 为公平调度模式问题经过近日,系统运维反馈说我们的大数据集群有一个节点(nodemanager)内存使用率超过报警阈值,触发告警。排查后发现计算节点(nodemanager)与节点(nodemanager)的负载差距较大,当即就想到了是因为 Yarn 开启了批量分配导致的。加之由于我们的任务都是流式计算任务,单个任务需要用到的 container 数量不多。所以更原创 2022-05-26 13:10:41 · 1031 阅读 · 0 评论 -
【yarn】Yarn 报错 Application submission is not finished, submitted application xxxxxxx
前言:提交yarn任务时,始终无法将任务提交到yarn上,并一直在打印日志:打印的日志如下:21/10/06 02:43:24 INFO impl.YarnClientImpl: Application submission is not finished, submitted application application_1633458210016_0364 is still in SUBMITTED21/10/06 02:43:26 INFO impl.YarnClientImpl: Appl原创 2021-10-08 10:48:08 · 2774 阅读 · 0 评论 -
【Yarn】记录一次yarn日志没有聚合, 及解决方法
前言今天在跑MR任务时报错,需要查看下Yarn的任务的执行日志,使用命令yarn logs -applicationId <app ID>但是报错,今天整理并记录一下。报错内容/tmp/logs/hive/logs/application_1562814267987_0012 does not exist.Log aggregation has not completed or is not enabled.报错原因Yarn日志没有聚合.并且也没有创建对应的linux文件路径。原创 2021-08-11 13:34:26 · 1479 阅读 · 1 评论 -
【yarn】转载:探究与解决YARN Container分配倾斜(集中)的问题
转载地址:https://www.jianshu.com/p/0a2012a9c708一、前言这篇文章其实是好几个月之前发过的。今天很忙,可以预见没空写新东西了,但是又不想就这么跳过去,于是从近一段时间写的文章里挑一篇阅读量最低的,重新贴一次吧。答案放在前面将YARN配置项中的yarn.scheduler.fair.assignmultiple参数设为false,或者手动设定yarn.scheduler.fair.max.assign参数的值为一个较小的正数(如3或4)。二、提出问题我们在有20原创 2021-11-03 17:13:56 · 559 阅读 · 0 评论 -
转载:删了HDFS又能怎样?记一次删库不跑路事件
一、事发背景 上个月的某一天,由于集群空间不足,公司有一位技术经理级别的大数据leader在通过跳板机在某个线上集群执行手动清理命令,疯狂地执行hadoop fs -rmr -skipTrash /user/hive/warehouse/xxxxx,突然,不知道是编辑器的问题还是换行问题,命令被截断,命令变成了hadoop fs -rmr -skipTrash /user/hive/warehouse,悲剧此刻开始发生!? /user/hive/warehouse目录下存储了所有hive表的数据,关转载 2021-04-12 15:39:11 · 272 阅读 · 0 评论 -
[hadoop] Warning: fs.defaultFS is not set when running “ls“ command.
问题现象使用cloudera-manager 新增了两台节点,并在上面部署了Datanode服务,服务部署成功后,并且也添加了Gateway,但是在新增的节点上使用HDFS的命令报错。报错内容Warning: fs.defaultFS is not set when running "ls" command.Found 22 items-rw-r--r-- 1 root root 0 2020-11-03 05:30 /.autorelabeldr-xr-xr-x -原创 2021-04-19 13:25:08 · 711 阅读 · 0 评论 -
【HDFS】转载:HDFS 特殊权限位
一、前言之前对HDFS更或者说是对Linux中文件的权限没有进行一个完整的学习,只是知道有所有者、所属组和其它权限,具体到某个人的权限有读®、写(w)和可执行(x)。二、HDFS基于Linux Posix modelHDFS的权限虽然是基于Linux的POSIX model,但是HDFS中其实并没有真正的用户和组的概念,只是从主机上拿到用户的信息然后对其存储的文件权限进行检查。HDFS中每个文件和目录都有一个owner和group,并对owner、owner同一个组的user和其它user的权限进转载 2021-12-10 11:24:20 · 442 阅读 · 0 评论 -
hadoop提交任务报错
环境信息组件版本操作系统centos6.9CDH5.13kerberos是问题原因:hadoop提交任务到yarn,任务报错hadoop jar /opt/cloudera/parcels/CDH-5.13.3-1.cdh5.13.3.p0.2/jars/hadoop-mapreduce-examples-2.6.0-cdh5.13.3.jar wordcount /wordcount/test /output错误日志:21/03/19 14:21:0原创 2021-03-19 14:32:00 · 437 阅读 · 0 评论 -
CDH添加 NFS Gateway 角色实例启动失败问题
环境信息:测试环境版本操作系统centos6.9CDH5.13问题描述往集群中的主机添加角色时,发现HDFS 存在警告信息,其余角色正常。通过查看日志信息,发现 NFS Gateway 这一块出错,错误日志错误日志,具体异常如下:using as SECURE_USERusing as SECURE_GROUPCONF_DIR=/run/cloudera-scm-agent/process/1436-hdfs-NFSGATEWAYCMF_CONF_DIR=原创 2021-03-25 15:23:22 · 797 阅读 · 1 评论 -
【hadoop】记录一次HDFS集群自动转移故障问题排查和解决方案
一、问题情况:今天早上收到报警,HDFS namenode 服务异常,发生了自动故障迁移。二、报错内容:2021-10-26 07:13:56,310 INFO org.apache.hadoop.hdfs.server.namenode.FileJournalManager: Fina lizing edits file /home/hadoop/dfs/nn/current/edits_inprogress_0000000000824809456 -> /home/原创 2021-10-26 14:37:14 · 765 阅读 · 0 评论 -
【HDFS】转载:Unable to close file because the last block does not have enough number of replicas报错分析
一、问题跑spark或hive脚本报错如下:[INFO] 2020-03-31 11:06:03 -> java.io.IOException: Unable to close file because the last block does not have enough number of replicas. at org.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutputStream.java:2266) at org转载 2022-05-11 15:05:55 · 922 阅读 · 0 评论 -
为impala开启HDFS缓存
HDFS缓存集中式缓存管理,由Datanode堆外内存组成,Namenode统一管理优点:阻止频繁使用的数据从内存中删除由于是Namenode统一管理,因此在读可以根据情况调度,提高读性能客户端可以通过零拷贝技术直接读取缓存数据提高集群内存利用率,读某个文件的时候会将解决步骤查看是否开启缓存查看当前是否存在缓存池hdfs cacheadmin -listPools创建HDFS缓冲池hdfs cacheadmin -addPool idnmk -owner原创 2021-04-13 18:27:23 · 300 阅读 · 0 评论 -
【Hadoop】hdfs使用setfacl 对hive的库赋权不生效问题
文章目录一、前言二、问题复现1、测试hive的权限2、测试HDFS权限3、查看HDFS文件的ACL4、 手动添加ACL解决方案总结一、前言使用sentry赋予普通用户的权限是能正常工作,但是HDFS文件的ACL权限未同步导致不能对相应表的数据目录进行操作。并且使用HDFS 的setfacl 命令也无法生效。意味着使用beeline 连接hive 可以正常使用,但是直接使用HDFS的命令确会报权限不足的错误。二、问题复现1、测试hive的权限beeline 连接 hiveserver2后,查看ri原创 2021-12-15 14:54:12 · 3742 阅读 · 0 评论 -
CDH集群安装kerberos权限后,JobhistoryServer无法启动
环境信息:组件版本操作系统centos 6.9CDH5.13kerberos环境是问题现象:CDH集群安装kerberos权限后,yarn的JobhistoryServer无法启动。报错日志:Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=mapred, a原创 2021-03-19 10:32:46 · 471 阅读 · 0 评论 -
工作中常用的HDFS命令总结
一、ACL权限查看当前/文件夹的权限hsdf dfs -getfacl / 为root用户在/文件夹下添加rwx权限hdfs dfs -setfacl -m user:root:rwx / 为root组在文件夹/下添加rwx权限hdfs dfs -setfacl -m group:root:rwx / chownhdfs dfs -chown -R hdfs:hdfs /tmpchmodhdfs dfs -chmod 777 /tmpgetmerge原创 2021-04-13 11:32:21 · 246 阅读 · 0 评论