![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
FAQ
文章平均质量分 55
工作中遇到的一些问题和解决方案
陈小哥cw
这个作者很懒,什么都没留下…
展开
-
【HDFS问题】HDFS oiv解析Fsimage OOM异常处理
问题说明HDFS的Fsimage文件记录了集群的元数据信息,是进行集群健康度分析的基础。利用HDFS oiv命令可以解析fsimage文件,解析后的文件放入Hive中即可进行集群元数据的详细分析。运行以下命令,获取hdfs集群的fsimage文件,并使用oiv命令进行解析#获取fsimage文件hdfs dfsadmin -fetchImage ./tmp_meta#使用oiv命令将fsimage文件解析为csv文件hdfs oiv -i ./tmp_meta/* -o ./tmp_meta/原创 2021-03-10 15:12:14 · 714 阅读 · 0 评论 -
【hdfs问题】hdfs 跨集群数据迁移报错
问题目前想要让Kerberos集群的hdfs数据迁移到非Kerberos集群的hdfs上,使用以下命令报错sudo kinit hivesudo klistsudo hadoop distcp hdfs://<secure_namenode>:8020/user/hive/warehouse/test.db/* hdfs://<insecure_namenode>:8020/user/hive/warehouse/test.db报错截图解决方案官方链接:https原创 2020-12-30 09:18:36 · 2525 阅读 · 1 评论 -
openldap-删除,修改ldap用户和组后,使用id命令显示没变化
问题删除ldap用户后,使用id命令查看,发现仍然是之前的结果[root@hadoop48 ~]# id ldapuser2uid=1002(ldapuser2) gid=1002 groups=1002[root@hadoop48 ~]# more /etc/passwd | grep ldapuser[root@hadoop48 ~]# ldapsearch -D "cn=Manager,dc=macro,dc=com" -W | grep dnEnter LDAP Password: d原创 2020-11-23 18:24:44 · 1920 阅读 · 0 评论 -
hdfs问题-删除,遍历某个目录时显示GC overhead limit exceeded
之前碰到一个问题,使用hdfs ls或者find命令时,会报GC问题,如下图Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded经过调查,我发现该文件夹中有超过3,200,000个文件,而hdfs dfs -ls命令以递归方式搜索目标文件夹中的所有文件,这导致GC OOM错误。于是我将hdfs客户端的heap大小调大,再次运行则成功HADOOP_CLIENT_OPTS="-Xmx1024原创 2020-09-21 14:25:05 · 975 阅读 · 2 评论