### ### 排查
Hive 启动时报 `cannot create directory` 错误的方法
在
Hive 启动过程中，若出现 `cannot create directory` 错误，通常与 HDFS 的状态或权限配置有关。以下是详细的排查方法：
#### 检查 HDFS 是否处于安全模式（SafeMode）
Hive 在
启动时会尝试创建临时目录，例如 `/user/
hive/tmp` 和 `${
hive.exec
.scratchdir}`。如果 HDFS NameNode 处于安全模式，则无法进行写操作，导致
Hive 无法创建这些目录[^
1]。可以通过以下命令检查当前 HDFS 的安全模式状态：
```bash
hdfs dfsadmin -report | grep "Safe mode is ON"
```
如果确认处于安全模式，可以使用以下命令手动退出：
```bash
hdfs dfsadmin -safemode leave
```
建议在集群完全启动并稳定后，再运行
Hive 服务。
#### 验证
Hive 配置的临时目录是否存在且具有写权限
Hive 的关键配置项如 `
hive.exec
.scratchdir` 和 `
hive.querylog
.location` 应指向 HDFS 上的可写路径，并确保这些目录存在且权限正确。例如：
```xml
<property>
<name>
hive.exec
.scratchdir</name>
<value>/user/
hive/scratch</value>
<description>Scratch space for
Hive jobs</description>
</property>
<property>
<name>
hive.querylog
.location</name>
<value>/user/
hive/logs</value>
</property>
```
执行以下命令确保这些目录存在并设置适当的权限：
```bash
hadoop fs -mkdir -p /user/
hive/scratch /user/
hive/logs
hadoop fs -chmod -R 777 /user/
hive/scratch
hadoop fs -chmod -R 777 /user/
hive/logs
```
#### 检查
Hive 临时目录是否被占用或损坏
有时，
Hive 创建的临时目录可能因任务异常中断而残留，或者目录结构损坏。可以手动删除这些目录并重新创建：
```bash
hadoop fs -rm -r /user/
hive/scratch
hadoop fs -rm -r /user/
hive/logs
hadoop fs -mkdir -p /user/
hive/scratch /user/
hive/logs
hadoop fs -chmod -R 777 /user/
hive/scratch
hadoop fs -chmod -R 777 /user/
hive/logs
```
#### 查看
Hive 日志文件以获取更详细的错误信息
Hive 的日志文件通常包含更具体的错误信息，可以帮助定位问题。可以在 `
hive.log` 文件中查找相关的异常堆栈信息，尤其是涉及文件系统操作的部分。日志路径通常由 `
hive.log
.dir` 配置决定。
#### 使用
本地临时目录（适用于测试环境）
对于非生产环境，可以将
Hive 的临时目录设置为
本地文件系统路径，以绕过 HDFS 依赖。此方法不适用于分布式环境：
```xml
<property>
<name>
hive.exec
.scratchdir</name>
<value>/tmp/
hive/scratch</value>
</property>
<property>
<name>
hive.querylog
.location</name>
<value>/tmp/
hive/logs</value>
</property>
```
注意：该方式可能影响性能和任务调度，不适合长期使用。
#### 自动等待 HDFS 安全模式退出后再启动
Hive
可以在
Hive 服务启动脚本中加入对 HDFS 状态的检测逻辑，自动等待直到 HDFS 退出安全模式：
```bash
#!/bin/bash
until hdfs dfsadmin -report 2>&
1 | grep -q "Safe mode is
OFF"; do
echo "Waiting for HDFS to exit Safe Mode
..."
sleep
10
done
# 继续执行
Hive服务启动命令
hive --service metastore &
```
---
最低0.47元/天 解锁文章
扫一扫
1791
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
