hdfs
breeze_lsw
打杂工程师
展开
-
hdfs du -sk 导致机器load高
hdfs 会定期(默认10分钟)使用 du -sk 命令统计BP的大小,在大硬盘机器上该操作耗时将会很长(可能超过10分钟)。这会导致 iowait 以及 load的提升。 例如: 社区为了解决这个问题,主要在两个方面进行了改造: https://issues.apache.org/jira/browse/HADOOP-9884 使用 df 命令替换 du 允许用户自定义检查间隔时间 问题虽然被原创 2017-11-10 08:41:41 · 1768 阅读 · 0 评论 -
hdfs exceeded directory item limit
报错提示: 错误原因: 一个目录下的子目录数量达到限制,默认的上限是 1048576。 每次执行hive语句时,都会在 hive.exec.scratchdir 配置的目录下生成一个临时目录,执行结束后会自动删除,如果异常中断则有可能会保留目录。 提供两种解决办法: 提高目录的限制上限,通过 dfs.namenode.fs-limits.max-directory-items 参数原创 2018-01-15 22:57:22 · 2593 阅读 · 0 评论