背景
最近需要对中文职位做数据分析, 于是用scrapy从网上爬取了大量的job数据, 存储的时候也是图省事, 启动了一个Mongodb container来存储爬取的job. db的数据通过卷挂载的方式存储到宿主机器上, dockercompose file 如下:
version: "3"
services:
mongo:
image: mongo:4.4.3
container_name: mongo
environment:
MONGO_INITDB_ROOT_USERNAME: {username}
MONGO_INITDB_ROOT_PASSWORD: {passwd}
ports:
- "27017:27017"
volumes:
- ./data/db:/data/db
但是遇到机器没电关闭, 整个Mongodb 的 container也非正常关闭了, 重新运行dockercompose file也无法启动, 似乎辛苦爬取的20w条数据没法使用了.
解决方案
为了解决上网搜索了一些处理Mongodb异常关闭恢复的方案, 有一条./mognod --repair
的指令可以执行恢复. 但是上述方案都没有尝试对容器环境下执行的mongodb进行数据恢复, 于是抱着尝试的心态, 在宿主机器上安装mongodb 并且在容器挂载目录下指定目录执行数据恢复
./mongod --dbpath={your mongodb data path}/data/db --repair
发现再次运行dockercompose file 能够正常启动Mongodb container了, 且之前的20w条数据即可正常查询到了.