问题现象:
客户端写入influxdb时报错no space left on device
排查过程:
- influxdb集群模式部署,df检查了每个节点磁盘使用情况未发现磁盘空间使用满导致
- df -i检查inode未见异常
- 对数据目录进行读写操作正常
- 检查了服务端log输出发现当前打印 “write influx error org.influxdb.InfluxDBException: engine: error writing WAL entry: write /var/lib/influxdb/wal/xx/autogen/335/_00107.wal: no space left on device”
- 还有个现象就是我们检查了wal目录下的其他shardID目录下的文件是0,报错问题的shard目录下的wal文件是16k没有再继续涨过
- 问题解决方案目前只能是重启服务
GitHub地址
https://github.com/influxdata/influxdb/issues/9923